Kaj je spremljanje blagovne znamke z LLM?

Dejstvo, da je ChatGPT danes omenil blagovno znamko v odgovoru, ne pomeni, da jo bo ponovno omenil naslednji teden. Prav tako ne vemo, ali bi Gemini, Claude, Perplexity ali drug sistem podal enako priporočilo.

Posamezen odgovor lahko ponudi dragoceno opazovanje. Vendar to ni spremljanje.

Da bi ugotovili, ali se prisotnost, predstavitev ali položaj blagovne znamke glede na konkurenco spreminja, moramo ponavljati primerljive študije. Le niz meritev lahko razkrije, ali je rezultat izoliran pojav, kratkotrajno nihanje ali sprememba, ki traja skozi čas.

Spremljanje blagovne znamke z LLM je ponavljajoče se izvajanje določene študije in primerjava njenih rezultatov skozi čas. Študija mora zajemati iste entitete, scenarije, ciljne skupine, trge in merila ocenjevanja, morebitne spremembe raziskovalnih pogojev pa je treba dokumentirati.

Spremljanje torej ni občasno spraševanje modela o podjetju. Gre za raziskovalni proces, ki zahteva dosledno metodologijo, ohranjene dokaze in skrbno interpretacijo.

Kaj pravzaprav spremljamo?

Najpreprostejši odgovor je, da spremljamo, kako generativni sistemi odgovarjajo na vprašanja, ki so pomembna za blagovno znamko.

To ni omejeno na preverjanje, ali se pojavi ime blagovne znamke. Kot pojasnjujemo v našem članku o predstavitvi blagovne znamke v velikih jezikovnih modelih, lahko predstavitev blagovne znamke vključuje:

• ali je blagovna znamka prisotna ali odsotna v odgovoru;

• ali je omenjena spontano, ne da bi bila imenovana v pozivu;

• ali je priporočena uporabniku;

• atribute, izdelke in zmogljivosti, povezane z njo;

• ton in kontekst odgovora;

• ciljne skupine in primere uporabe, s katerimi je blagovna znamka povezana;

• konkurente, ki se pojavljajo v istem kontekstu;

• vire, ki jih sistem uporablja ali navaja;

• dejanske napake, zastarele informacije in halucinacije.

Spremljanje lahko torej zajema tako vidnost blagovne znamke kot tudi kakovost predstavitve blagovne znamke. Ta razlika je pomembna. Blagovna znamka se lahko pogosto omenja, vendar se pojavi v napačnem kontekstu, je povezana z zastarelo ponudbo ali je priporočena ciljni skupini, ki je ne oskrbuje več.

Zato je vredno ločeno meriti prisotnost blagovne znamke, priporočila, kontekst, dejansko natančnost in odnose s konkurenti. Odstotek odgovorov, ki vsebujejo ime podjetja, ne daje celotne slike. To razliko podrobneje raziskujemo v našem vodniku po vidnosti blagovne znamke v AI.

Spremljanje v primerjavi z enkratno revizijo

Revizija in stalno spremljanje nista eno in isto, čeprav lahko dobro zasnovana revizija postane izhodišče za spremljanje.

Revizija predvsem odgovarja na vprašanje: kako je blagovna znamka predstavljena danes? Vzpostavi izhodišče, identificira probleme in poudari področja, ki zahtevajo nadaljnje opazovanje.

Spremljanje dodaja dimenzijo časa:

• Ali se blagovna znamka omenja pogosteje ali manj pogosto?

• Ali se je njen delež priporočil povečal?

• Ali so prej odkrite napake izginile?

• Ali se v odgovorih začenjajo pojavljati novi izdelki?

• Ali je konkurent prevzel določeno temo ali scenarij?

• Ali so komunikacijske dejavnosti povzročile spremembo, ki jo je mogoče opaziti v kasnejših meritvah?

Če je bila začetna revizija izvedena brez jasno določene plošče vprašanj, meril ocenjevanja in zapisov odgovorov, se lahko kasneje izkaže za težavno. Zato bi morala izhodiščna študija že od začetka uporabljati metodologijo, zasnovano za ponavljanje.

Brand Semantics opisuje praktičen pristop k ustvarjanju takšnega izhodišča v svojem vodniku, Kako izvesti revizijo vidnosti v AI.

Revizija zagotavlja referenčno točko. Spremljanje razkriva smer in obseg sprememb. Brez verodostojnega izhodišča pa je težko določiti, ali kasnejši rezultat predstavlja resnično izboljšanje.

Spremljanje v primerjavi s stabilnostjo odgovorov

To je ena najpomembnejših metodoloških razlik.

Spremljanje primerja rezultate, zbrane v različnih časovnih točkah. Test stabilnosti preučuje, koliko se odgovori razlikujejo pod podobnimi pogoji znotraj istega raziskovalnega obdobja.

Če se je blagovna znamka v januarju pojavila v šestih od desetih odgovorov in v februarju v osmih od desetih, ne moremo samodejno sklepati, da se je njena vidnost povečala. Najprej moramo razumeti naravno variabilnost znotraj vsakega merilnega obdobja.

Raziskave o vrednotenju modelov kažejo, da so rezultati lahko občutljivi tudi na preformulirana navodila. Avtorji State of What Art? A Call for Multi-Prompt LLM Evaluation trdijo, da lahko vrednotenje, ki temelji na eni sami formulaciji poziva, vodi do preveč samozavestnih zaključkov.

To ne pomeni, da je treba vsako študijo ponavljati v nedogled. Pomeni, da mora metodologija odražati tveganje in pomen odločitve, ki jo raziskava namerava podpreti.

Razlika med dvema merilnima obdobjema ni samodejno trend. Lahko ga nakazuje, vendar ga moramo najprej ločiti od generativne variabilnosti in sprememb v raziskovalnih pogojih.

Zakaj se lahko rezultati spremenijo?

Sprememba kazalnika ne pomeni vedno, da se je spremenila sama blagovna znamka. Odgovornih je lahko več mehanizmov.

Spremenilo se je informacijsko okolje blagovne znamke

Pojavili so se novi članki, poročila, strani izdelkov, ocene, PR materiali in vsebine konkurentov. Drugi viri so morda izginili ali postali zastareli.

Te spremembe ne izvirajo nujno iz same blagovne znamke. Konkurent lahko objavi jasnejše, popolnejše ali bolje povezane informacije in se posledično začne pogosteje pojavljati v odgovorih.

Spremenil se je sistem ali njegov postopek pridobivanja informacij

Generativni sistemi lahko uporabljajo različne modele, iskalne komponente, tehnike razširitve poizvedb in mehanizme izbire virov. Google pojasnjuje, da AI Overviews in AI Mode lahko uporabljata različne modele in tehnike, kar pomeni, da se lahko razlikujejo tako odgovori kot tudi podporne povezave.

Če se spremeni različica modela, vmesnik ali dostop do trenutnih spletnih informacij, je treba to dokumentirati kot del raziskovalnih pogojev.

Spremenili so se raziskovalni pogoji

Jezik, lokacija, nastavitve računa, dostop do spletnega iskanja, besedilo vprašanja in nabor imenovanih konkurentov lahko vplivajo na odgovor.

"Katero orodje naj izberem?" in "Katero je najboljše orodje?" se morda zdita podobna, vendar lahko aktivirata različna merila ocenjevanja. Če se pozivi med merilnimi obdobji spremenijo, ne delamo več z natančno isto ploščo.

Generativna variabilnost je vplivala na rezultate

Jezikovni modeli ne proizvajajo vedno enakih odgovorov. Lahko izberejo različne primere, spremenijo vrstni red seznama ali izpustijo blagovno znamko, ki so jo omenili v prejšnjem zagonu.

Vsaka razlika ni dokaz spremenjene predstavitve blagovne znamke.

Kaj naj ostane konstantno?

Sistemov, ki jih preučujemo, ne moremo zamrzniti, lahko pa nadzorujemo jedro raziskave.

Naslednji elementi naj ostanejo čim bolj dosledni:

• blagovna znamka in njene različice imena;

• izdelki, storitve in druge entitete, vključene v študijo;

• ciljne skupine in persone;

• primeri uporabe;

• faze procesa odločanja;

• plošča vprašanj in njena pravila izvajanja;

• jezik, trg in lokacija;

• testirani sistemi;

• pravila klasifikacije odgovorov;

• način izračuna kazalnikov;

• celotni odgovori in datumi vsake meritve.

Vsako neizogibno spremembo je treba zabeležiti. Če je treba uvesti nova vprašanja, je pogosto bolje, da jih dodamo kot ločen modul, hkrati pa ohranimo fiksno primerjalno ploščo.

Praktično pravilo je, da študijo prilagodite, ko to zahteva posel, vendar nikoli ne prepišete njene zgodovine. Ohranjajte prejšnje definicije in rezultate, da boste lahko ugotovili, ali se je spremenila blagovna znamka, metodologija ali oboje.

Kako pogosto je treba izvajati spremljanje blagovne znamke?

Ni ene same frekvence, primerne za vsako organizacijo.

Mesečno spremljanje je lahko primerno, ko:

• se trg hitro spreminja;

• blagovna znamka izvaja intenzivne komunikacije;

• se lansirajo novi izdelki ali storitve;

• so konkurenti zelo aktivni;

• je ugledno tveganje pomembno.

Četrtletno spremljanje je lahko zadostno za organizacije s stabilno ponudbo, daljšimi nakupnimi cikli in počasnejšim tempom komunikacije.

Dodatne meritve so lahko upravičene po:

• spremembi pozicioniranja;

• lansiranju izdelka ali vstopu na nov trg;

• večji prenovi spletnega mesta ali arhitekture vsebine;

• ugledni krizi;

• združitvi, prevzemu ali prenovi blagovne znamke;

• večji komunikacijski kampanji;

• pomembni spremembi enega od spremljanih sistemov.

Pogostejše merjenje ni vedno boljše. Če rezultat dnevno niha, organizacija pa sprejema odločitve četrtletno, lahko prekomerno merjenje generira opozorila namesto koristnih informacij.

Urnik spremljanja mora odražati tempo sprememb, raven tveganja in cikel odločanja organizacije.

V enem od naših projektov smo spremljali družbeno kampanjo, izvedeno v začetku leta. To je bilo še posebej zahtevno komunikacijsko okno: sezonski val božičnih dobrodelnih prispevkov se je ravno umikal, medtem ko je intenzivna promocija okoli finala Velikega orkestra božične pomoči (WOŚP) že prevladovala v javni in medijski pozornosti. Kampanja se je zato morala boriti za vidnost med dvema izjemno močnima valovoma družbene komunikacije.

Konvencionalna meritev pred kampanjo in druga po njej ne bi razkrila dovolj o dinamiki sprememb. Povečali smo pogostost meritev, da bi lahko natančneje opazovali, kdaj se je pripoved kampanje začela pojavljati v odgovorih generativnih sistemov. Hkrati smo izvedli dodatno raziskovalno sondiranje in spreminjali izbrane raziskovalne parametre z zamenjavo nekaterih scenarijev, hkrati pa ohranili fiksno primerjalno jedro.

To nam je omogočilo, da smo ločili gibanje v osnovnih kazalnikih od signalov, ki so se pojavljali v novejših, bolj aktualnih kontekstih. Projekt je pokazal, da je višja pogostost meritev lahko nujna v izjemnih okoliščinah, vendar ne sme pomeniti spreminjanja celotne metodologije brez nadzora. Stabilni del študije je ohranil primerljivost, medtem ko so nam spremenljivi scenariji pomagali zajeti, kako so se sistemi odzivali, ko se je kampanja razvijala.

Kako interpretirati spremembo rezultatov?

Nikoli ne smemo gledati samo povprečnega rezultata.

Če se vidnost poveča s 40 % na 50 %, moramo preučiti:

• kateri sistemi so povzročili spremembo;

• katere persone in scenariji so bili odgovorni;

• ali je bila blagovna znamka zgolj omenjena ali aktivno priporočena;

• ali so bile informacije pravilne;

• kaj se je zgodilo s konkurenti;

• ali je bila izboljšava široko razširjena ali omejena na majhno število vprašanj;

• ali je bilo število opazovanj zadostno za podporo zaključku.

Vsak kazalnik je treba predstaviti skupaj z njegovim imenovalcem. Sprememba iz enega pozitivnega odgovora v dva predstavlja 100-odstotno povečanje, vendar še vedno temelji na samo dveh odgovorih.

Kvantitativne rezultate morajo spremljati tudi kvalitativni dokazi: celoten odgovor, njegov kontekst, omenjeni konkurenti, navedeni viri in razlogovanje, ki ga je uporabil sistem.

Spremljanje ni raziskava javnega mnenja. Ne dokazuje, da stranke blagovno znamko dojemajo enako, niti ne dokazuje, da se bo sprememba neposredno prenesla v prodajo. Prikazuje, kaj so izbrani sistemi generirali pod določenimi raziskovalnimi pogoji.

Ena od naših študij je v prvem zagonu pokazala izjemno visoko oceno vidnosti za blagovno znamko v gostinstvu. Rezultat je bil veliko močnejši, kot bi ga lahko razumno pričakovali glede na položaj nepremičnine na trgu in njeno kratko zgodovino – odprta je bila le nekaj mesecev prej.

Na prvi pogled so podatki izgledali kot dokaz nenavadno hitrega komunikacijskega uspeha. Šele pregled celotnih odgovorov je razkril, da so jezikovni modeli nepravilno pripisovali nepremičnino veliko večji mednarodni hotelski verigi. Na podlagi delne podobnosti v imenu ali kontekstu so sistemi sklepali na razmerje, ki ni obstajalo.

Nepremičnina je torej prejemala vidnost, ki ni bila ustvarjena z lastnim informacijskim odtisom. To je bila vidnost, ustvarjena z napačno identifikacijo entitete. Prekomerna interpretacija modelov je povzročila znatno precenjevanje osnovnih kazalnikov uspešnosti.

Ta primer je pokazal, zakaj se analiza ne more ustaviti pri odstotkih. Če ne bi pregledali odgovorov in načina, kako je bila entiteta identificirana, bi stranki predstavili privlačno, a v bistvu zavajajočo sliko. Visoka ocena ne kaže vedno na močan položaj – včasih razkrije problem razreševanja entitet.

Kaj naj storimo, ko zaznamo spremembo?

Uporaben proces spremljanja bi moral voditi do odločitve, ne zgolj do še enega grafa.

1. Potrdite rezultat

Ponovite ustrezne scenarije ali izvedite dodatno preverjanje stabilnosti. Ugotovite, ali sprememba vztraja v sistemih in enakovrednih formulacijah pozivov.

2. Poiščite spremembo

Identificirajte sisteme, ciljne skupine, izdelke, scenarije in faze odločanja, v katerih je prišlo do razlike.

3. Klasificirajte spremembo

Ugotovite, ali se nanaša na:

• prisotnost blagovne znamke;

• priporočilo;

• dejansko natančnost;

• kontekst ali sentiment;

• pozicioniranje konkurentov;

• vire;

• halucinacijo ali napačno identifikacijo entitete.

4. Primerjajte rezultat z želenim identitetom blagovne znamke

Vprašajte se, ali je nastajajoča predstavitev skladna s tem, kako želi organizacija biti razumljena.

5. Analizirajte vire in informacijske vrzeli

Preverite, ali so ustrezne informacije na voljo, aktualne, eksplicitne in dosledne v celotnem digitalnem ekosistemu blagovne znamke.

Tu lahko storitve, kot je Semantic Health, pomagajo prepoznati protislovja, manjkajoče odnose in slabosti v informacijski infrastrukturi blagovne znamke.

6. Izberite ustrezno dejanje

Odvisno od diagnoze, naslednji korak lahko vključuje popravljanje dejanskih informacij, krepitev odnosov med entitetami, posodabljanje vsebine izdelkov, izboljšanje arhitekture vsebine ali objavo novih materialov, ki temeljijo na dokazih.

Kjer se problem nanaša na to, kako so informacije strukturirane in interpretirane s strani sistemov AI, AI-First Content Engineering zagotavlja okvir za oblikovanje vsebine okoli entitet, odnosov in jasno izraženih trditev.

Širša vloga te infrastrukture je pojasnjena v Semantika blagovne znamke kot infrastruktura za iskanje z AI.

7. Ponovno izmerite

Korektivno dejanje ni končano, ko je vsebina objavljena. Naslednja meritev mora oceniti, ali se pojavi pričakovana sprememba in ali so se pojavili kakršni koli nenamerni učinki drugje.

Kako Semantio podpira spremljanje blagovne znamke?

Ročno izvajanje enega testa je preprosto. Zapletenost se poveča, ko študija vključuje več ciljnih skupin, izdelkov, konkurentov, scenarijev in generativnih sistemov – in ko je treba primerljive zapise ohraniti skozi čas.

Semantio organizira študijo okoli identitete blagovne znamke. Ekipam omogoča, da definirajo izdelke, ciljne skupine in konkurente ter nato na podlagi teh entitet gradijo testne scenarije.

Rezultate je mogoče analizirati v celotni študiji, pa tudi na ravni posameznih vprašanj in sistemov. To omogoča, da se premaknete onkraj preprostih štetij omemb in pregledate dokaze za kazalniki.

Platforma ne odpravlja potrebe po interpretaciji. Podpira dosledno merjenje, strukturirano primerjavo in ohranjanje raziskovalnih zapisov – elemente, potrebne za to, da spremljanje postane ponovljiv poslovni proces in ne zbirka posnetkov zaslona.

Želite ugotoviti, kako je vaša blagovna znamka danes predstavljena v sistemih AI in spremljati, kako se ta predstavitev spreminja? Ustvarite svoj račun Semantio in nastavite svojo prvo izhodiščno meritev.

Pogosto zastavljena vprašanja

Ali je spremljanje blagovne znamke z LLM enako socialnemu poslušanju?

Ne. Socialno poslušanje analizira vsebino, ki jo objavljajo ljudje in organizacije na družbenih platformah in drugih javnih kanalih. Spremljanje LLM preučuje odgovore, ki jih generirajo sistemi AI kot odgovor na določene scenarije.

Oba pristopa se lahko dopolnjujeta, vendar merita različne pojave.

Ali je redno postavljanje enega vprašanja ChatGPT dovolj?

Ne. Eno vprašanje ne predstavlja celotnega obsega ciljnih skupin, potreb, izdelkov, faz odločanja in konkurenčnih kontekstov, ki so pomembni za blagovno znamko. Prav tako ne zagotavlja zadostne podlage za razlikovanje trenda od običajne variabilnosti odgovorov.

Ali je visoka vidnost vedno koristna?

Ne. Blagovna znamka je lahko zelo vidna, ker je napačno predstavljena, zamenjana z drugo entiteto ali omenjena v neugodnem kontekstu. Vidnost je treba vedno analizirati skupaj z natančnostjo, relevantnostjo in naravo priporočila.

Ali bo posodobitev spletnega mesta takoj spremenila odzive modela?

Ne nujno. Spremembe se lahko odkrijejo, obdelajo in odrazijo z različnimi hitrostmi, odvisno od sistema in mehanizmov, ki jih uporablja. Nekateri odgovori se lahko zanašajo tudi na zunanje vire in ne na lastno spletno mesto blagovne znamke.

Ali lahko spremljanje identificira vzrok vsake spremembe?

Ne. Lahko razkrije, kje in kako se je rezultat spremenil, vendar morda ne bo vedno zagotovilo dokončnih dokazov o vzročnosti. V mnogih primerih je treba vzrok sklepati s kombiniranjem analize odgovorov, pregleda virov in poznavanja sprememb v informacijskem okolju blagovne znamke.

Kaj naj pravzaprav spremljamo?

Spremljanje blagovne znamke z LLM je ponovljiva študija, ne zbirka ad hoc pogovorov s klepetalnimi roboti.

Njena vrednost je odvisna od:

• jasno določenega izhodišča;

• stabilne plošče entitet in scenarijev;

• dokumentiranih raziskovalnih pogojev;

• razlikovanja dolgoročnih sprememb od variabilnosti odgovorov;

• analize tako kazalnikov kot tudi celotnih osnovnih dokazov;

• povezovanja ugotovitev s specifičnimi poslovnimi in komunikacijskimi odločitvami.

Najpomembnejše vprašanje torej ni preprosto: "Ali je model omenil našo blagovno znamko?"

Moralo bi biti:

Ali se način, kako sistemi AI predstavljajo našo blagovno znamko, spreminja skozi čas – in če je tako, kje, v katero smer in s kakšnimi posledicami za občinstvo?