Kas yra LLM prekės ženklo stebėjimas?

Tai, kad „ChatGPT“ šiandien atsakyme paminėjo prekės ženklą, nereiškia, kad tai padarys ir kitą savaitę. Taip pat nežinome, ar „Gemini“, „Claude“, „Perplexity“ ar kita sistema pateiktų tą pačią rekomendaciją.

Vienas atsakymas gali suteikti vertingą pastebėjimą. Tačiau tai nėra stebėjimas.

Norėdami nustatyti, ar prekės ženklo buvimas, vaizdavimas ar pozicija konkurentų atžvilgiu keičiasi, turime pakartoti panašius tyrimus. Tik matavimų serija gali atskleisti, ar rezultatas yra pavienis įvykis, trumpalaikis svyravimas, ar pokytis, kuris išlieka laikui bėgant.

LLM prekės ženklo stebėjimas yra apibrėžto tyrimo pakartotinis vykdymas ir jo rezultatų palyginimas laikui bėgant. Tyrimas turėtų apimti tuos pačius subjektus, scenarijus, auditorijas, rinkas ir vertinimo kriterijus, o bet kokie tyrimo sąlygų pokyčiai turėtų būti dokumentuojami.

Stebėjimas nėra atsitiktinis modelio klausinėjimas apie įmonę. Tai yra tyrimo procesas, reikalaujantis nuoseklios metodologijos, išsaugotų įrodymų ir kruopštaus interpretavimo.

Ką mes iš tikrųjų stebime?

Paprastiausias atsakymas yra tas, kad mes stebime, kaip generatyvinės sistemos atsako į klausimus, kurie yra svarbūs prekės ženklui.

Tai neapsiriboja tikrinimu, ar pasirodo prekės ženklo pavadinimas. Kaip paaiškiname savo straipsnyje apie prekės ženklo reprezentaciją dideliuose kalbos modeliuose, prekės ženklo reprezentacija gali apimti:

• ar prekės ženklas yra atsakyme, ar jo nėra;

• ar jis minimas spontaniškai, be paminėjimo užklausoje;

• ar jis rekomenduojamas vartotojui;

• su juo susijusius atributus, produktus ir galimybes;

• atsakymo toną ir kontekstą;

• auditorijas ir naudojimo atvejus, su kuriais prekės ženklas yra susijęs;

• konkurentus, pasirodančius tame pačiame kontekste;

• sistemos naudojamus ar cituojamus šaltinius;

• faktines klaidas, pasenusią informaciją ir haliucinacijas.

Todėl stebėjimas gali apimti tiek prekės ženklo matomumą, tiek prekės ženklo reprezentacijos kokybę. Šis skirtumas yra svarbus. Prekės ženklas gali būti dažnai minimas, tačiau pasirodyti netinkamame kontekste, būti susijęs su pasenusiu pasiūlymu arba būti rekomenduojamas auditorijai, kurios jis jau neaptarnauja.

Todėl verta atskirai matuoti prekės ženklo buvimą, rekomendacijas, kontekstą, faktinį tikslumą ir santykius su konkurentais. Atsakymų, kuriuose yra įmonės pavadinimas, procentas nepateikia viso vaizdo. Šį skirtumą išsamiau nagrinėjame mūsų vadove apie dirbtinio intelekto prekės ženklo matomumą.

Stebėjimas ir vienkartinis auditas

Auditas ir nuolatinis stebėjimas nėra tas pats, nors gerai suplanuotas auditas gali tapti stebėjimo atspirties tašku.

Auditas pirmiausia atsako į klausimą: kaip prekės ženklas reprezentuoja save šiandien? Jis nustato pradinį lygį, identifikuoja problemas ir pabrėžia sritis, kurioms reikia tolesnio stebėjimo.

Stebėjimas prideda laiko dimensiją:

• Ar prekės ženklas minimas dažniau ar rečiau?

• Ar padidėjo jo rekomendacijų dalis?

• Ar anksčiau aptiktos klaidos išnyko?

• Ar nauji produktai pradeda pasirodyti atsakymuose?

• Ar konkurentas perėmė tam tikros temos ar scenarijaus nuosavybę?

• Ar komunikacijos veikla sukėlė pokyčius, kuriuos galima pastebėti vėlesniuose matavimuose?

Jei pradinis auditas buvo atliktas be aiškiai apibrėžto klausimų skydelio, vertinimo kriterijų ir atsakymų įrašų, jį vėliau atkartoti gali būti sunku. Todėl pradinio lygio tyrimas turėtų naudoti metodologiją, skirtą pakartojimui nuo pat pradžių.

„Brand Semantics“ aprašo praktinį požiūrį į tokio pradinio lygio kūrimą savo vadove Kaip atlikti dirbtinio intelekto matomumo auditą.

Auditas suteikia atskaitos tašką. Stebėjimas atskleidžia pokyčių kryptį ir mastą. Tačiau be patikimo pradinio lygio sunku nustatyti, ar vėlesnis rezultatas reiškia tikrą pagerėjimą.

Stebėjimas ir atsakymų stabilumas

Tai yra vienas svarbiausių metodologinių skirtumų.

Stebėjimas palygina rezultatus, surinktus skirtingais laiko momentais. Stabilumo testas tiria, kiek atsakymai skiriasi panašiomis sąlygomis per tą patį tyrimo laikotarpį.

Jei prekės ženklas sausį pasirodė šešiuose iš dešimties atsakymų, o vasarį – aštuoniuose iš dešimties, negali automatiškai daryti išvados, kad jo matomumas padidėjo. Pirmiausia turime suprasti natūralų kintamumą kiekviename matavimo laikotarpyje.

Modelių vertinimo tyrimai rodo, kad rezultatai gali būti jautrūs net perrašytoms instrukcijoms. „State of What Art? A Call for Multi-Prompt LLM Evaluation“ autoriai teigia, kad vertinimas, pagrįstas viena užklausos formuluote, gali lemti pernelyg pasitikinčias išvadas.

Tai nereiškia, kad kiekvienas tyrimas turi būti kartojamas neribotą laiką. Tai reiškia, kad metodologija turėtų atspindėti riziką ir sprendimo, kurį tyrimas skirtas paremti, svarbą.

Skirtumas tarp dviejų matavimo laikotarpių nėra automatiškai tendencija. Jis gali rodyti tendenciją, tačiau pirmiausia turime jį atskirti nuo generatyvinio kintamumo ir tyrimo sąlygų pokyčių.

Kodėl rezultatai gali keistis?

Rodiklio pokytis ne visada reiškia, kad pasikeitė pats prekės ženklas. Už tai gali būti atsakingi keli mechanizmai.

Pasikeitė prekės ženklo informacinė aplinka

Gali būti pasirodę nauji straipsniai, ataskaitos, produktų puslapiai, apžvalgos, PR medžiaga ir konkurentų turinys. Kiti šaltiniai galėjo išnykti arba pasenti.

Šie pokyčiai nebūtinai turi kilti iš paties prekės ženklo. Konkurentas gali paskelbti aiškesnę, išsamesnę ar geriau susietą informaciją ir dėl to dažniau pasirodyti atsakymuose.

Pasikeitė sistema arba jos informacijos paieškos procesas

Generatyvinės sistemos gali naudoti skirtingus modelius, paieškos komponentus, užklausų išplėtimo metodus ir šaltinių pasirinkimo mechanizmus. „Google“ paaiškina, kad dirbtinio intelekto apžvalgos ir dirbtinio intelekto režimas gali naudoti skirtingus modelius ir metodus, o tai reiškia, kad gali skirtis tiek atsakymai, tiek juos patvirtinančios nuorodos.

Jei modelio versija, sąsaja ar prieiga prie dabartinės žiniatinklio informacijos keičiasi, tai turėtų būti dokumentuojama kaip tyrimo sąlygų dalis.

Pasikeitė tyrimo sąlygos

Kalba, vieta, paskyros nustatymai, prieiga prie žiniatinklio paieškos, klausimo formuluotė ir įvardytų konkurentų rinkinys – visa tai gali paveikti atsakymą.

„Kokį įrankį turėčiau pasirinkti?“ ir „Kuris yra geriausias įrankis?“ gali atrodyti panašūs, tačiau jie gali aktyvuoti skirtingus vertinimo kriterijus. Jei užklausos keičiasi tarp matavimo laikotarpių, mes nebedirbame su lygiai tuo pačiu skydeliu.

Generatyvinis kintamumas paveikė rezultatus

Kalbos modeliai ne visada pateikia identiškus atsakymus. Jie gali pasirinkti skirtingus pavyzdžius, pakeisti sąrašo tvarką arba praleisti prekės ženklą, kurį paminėjo ankstesniame vykdyme.

Ne kiekvienas skirtumas yra pakeistos prekės ženklo reprezentacijos įrodymas.

Kas turėtų likti pastovu?

Negalime užšaldyti tiriamų sistemų, tačiau galime kontroliuoti tyrimo esmę.

Šie elementai turėtų likti kuo nuoseklesni:

• prekės ženklas ir jo pavadinimo variantai;

• produktai, paslaugos ir kiti subjektai, įtraukti į tyrimą;

• auditorijos ir asmenybės;

• naudojimo atvejai;

• sprendimų priėmimo proceso etapai;

• klausimų skydelis ir jo vykdymo taisyklės;

• kalba, rinka ir vieta;

• testuojamos sistemos;

• atsakymų klasifikavimo taisyklės;

• rodiklių apskaičiavimo būdas;

• visi atsakymai ir kiekvieno matavimo datos.

Bet koks neišvengiamas pokytis turėtų būti užfiksuotas. Jei reikia įvesti naujų klausimų, dažnai geriau juos pridėti kaip atskirą modulį, išsaugant fiksuotą lyginamąjį skydelį.

Praktinė taisyklė yra pritaikyti tyrimą, kai to reikalauja verslas, bet niekada neperrašyti jo istorijos. Išsaugokite ankstesnes apibrėžtis ir rezultatus, kad galėtumėte nustatyti, ar pasikeitė prekės ženklas, metodologija, ar pasikeitė abu.

Kaip dažnai turėtų būti atliekamas prekės ženklo stebėjimas?

Nėra vieno dažnumo, tinkamo kiekvienai organizacijai.

Mėnesinis stebėjimas gali būti tinkamas, kai:

• rinka sparčiai keičiasi;

• prekės ženklas vykdo intensyvią komunikaciją;

• pristatomi nauji produktai ar paslaugos;

• konkurentai yra labai aktyvūs;

• reputacijos rizika yra didelė.

Kvartalinis stebėjimas gali būti pakankamas organizacijoms, turinčioms stabilų pasiūlymą, ilgesnius pirkimo ciklus ir lėtesnį komunikacijos tempą.

Papildomi matavimai gali būti pateisinami po:

• pozicionavimo pokyčių;

• produkto pristatymo ar įėjimo į naują rinką;

• didelių svetainės ar turinio architektūros pertvarkymų;

• reputacijos krizės;

• susijungimo, įsigijimo ar prekės ženklo keitimo;

• didelių komunikacijos kampanijų;

• reikšmingų pokyčių vienoje iš stebimų sistemų.

Dažnesnis matavimas ne visada yra geriau. Jei rezultatas svyruoja kasdien, bet organizacija priima sprendimus kas ketvirtį, per didelis matavimas gali generuoti įspėjimus, o ne naudingą informaciją.

Stebėjimo grafikas turėtų atspindėti pokyčių tempą, rizikos lygį ir organizacijos sprendimų priėmimo ciklą.

Viename iš mūsų projektų stebėjome socialinę kampaniją, vykdomą metų pradžioje. Tai buvo ypač sudėtingas komunikacijos langas: sezoninė su Kalėdomis susijusių labdaros akcijų banga tik traukėsi, o intensyvi reklama, susijusi su Didžiojo Kalėdų orkestro (WOŚP) finalu, jau dominavo viešojoje ir žiniasklaidos erdvėje. Todėl kampanija turėjo konkuruoti dėl matomumo tarp dviejų išskirtinai stiprių socialinės komunikacijos bangų.

Įprastas matavimas prieš kampaniją ir po jos nebūtų atskleidęs pakankamai apie pokyčių dinamiką. Padidinome matavimų dažnumą, kad galėtume tiksliau stebėti, kada kampanijos naratyvas pradėjo pasirodyti generatyvinių sistemų atsakymuose. Tuo pačiu metu atlikome papildomus tiriamuosius tyrimus ir keitėme pasirinktus tyrimo parametrus, pakeisdami kai kuriuos scenarijus, išsaugodami fiksuotą lyginamąjį branduolį.

Tai leido mums atskirti pagrindinių rodiklių judėjimą nuo signalų, atsirandančių naujesniuose, aktualesniuose kontekstuose. Projektas parodė, kad didesnis matavimų dažnumas gali būti būtinas išskirtinėmis aplinkybėmis, tačiau tai neturėtų reikšti visos metodologijos keitimo be kontrolės. Stabili tyrimo dalis išsaugojo palyginamumą, o kintami scenarijai padėjo mums užfiksuoti, kaip sistemos reagavo kampanijai vystantis.

Kaip turėtų būti interpretuojami rezultatų pokyčiai?

Niekada neturėtume žiūrėti tik į vidutinį balą.

Jei matomumas padidėja nuo 40% iki 50%, turime išnagrinėti:

• kurios sistemos sukėlė pokytį;

• kurios asmenybės ir scenarijai buvo atsakingi;

• ar prekės ženklas buvo tik paminėtas, ar aktyviai rekomenduojamas;

• ar informacija buvo teisinga;

• kas nutiko konkurentams;

• ar pagerėjimas buvo plačiai paplitęs, ar apsiribojo nedideliu klausimų skaičiumi;

• ar stebėjimų skaičius buvo pakankamas išvadai pagrįsti.

Kiekvienas rodiklis turėtų būti pateikiamas kartu su jo vardikliu. Pokytis nuo vieno teigiamo atsakymo iki dviejų reiškia 100% padidėjimą, tačiau jis vis dar pagrįstas tik dviem atsakymais.

Kiekybinius rezultatus taip pat turėtų lydėti kokybiniai įrodymai: visas atsakymas, jo kontekstas, paminėti konkurentai, cituojami šaltiniai ir sistemos naudojami argumentai.

Stebėjimas nėra viešosios nuomonės tyrimas. Jis neįrodo, kad klientai prekės ženklą suvokia taip pat, nei demonstruoja, kad pokytis tiesiogiai paveiks pardavimus. Jis rodo, ką pasirinktos sistemos generavo apibrėžtomis tyrimo sąlygomis.

Vienas iš mūsų tyrimų parodė išskirtinai aukštą svetingumo prekės ženklo matomumo balą jau pirmuoju bandymu. Rezultatas buvo daug stipresnis, nei galėjome pagrįstai tikėtis, atsižvelgiant į objekto poziciją rinkoje ir trumpą jo istoriją – jis buvo atidarytas tik prieš kelis mėnesius.

Iš pirmo žvilgsnio duomenys atrodė kaip neįprastai greitos komunikacijos sėkmės įrodymas. Tik peržiūrėjus visus atsakymus paaiškėjo, kad kalbos modeliai neteisingai priskyrė objektą daug didesnei tarptautinei viešbučių grandinei. Remdamiesi daliniu pavadinimo ar konteksto panašumu, sistemos padarė išvadą apie ryšį, kurio nebuvo.

Todėl objektas gavo matomumą, kuris nebuvo sukurtas jo paties informacijos pėdsaku. Tai buvo matomumas, sukurtas neteisingai identifikuojant subjektą. Modelių perteklinė interpretacija lėmė didelį pagrindinių veiklos rodiklių pervertinimą.

Šis atvejis parodė, kodėl analizė negali sustoti ties procentais. Jei nebūtume peržiūrėję atsakymų ir to, kaip subjektas buvo identifikuotas, būtume pateikę klientui patrauklų, bet iš esmės klaidinantį vaizdą. Aukštas balas ne visada rodo stiprią poziciją – kartais jis atskleidžia subjekto atpažinimo problemą.

Ką daryti, kai aptinkamas pokytis?

Naudingas stebėjimo procesas turėtų lemti sprendimą, o ne tik dar vieną diagramą.

1. Patvirtinkite rezultatą

Pakartokite atitinkamus scenarijus arba atlikite papildomą stabilumo patikrinimą. Nustatykite, ar pokytis išlieka visose sistemose ir lygiavertėse užklausų formuluotėse.

2. Raskite pokytį

Nustatykite sistemas, auditorijas, produktus, scenarijus ir sprendimų priėmimo kelionės etapus, kuriuose įvyko skirtumas.

3. Klasifikuokite pokytį

Nustatykite, ar jis susijęs su:

• prekės ženklo buvimu;

• rekomendacija;

• faktiniu tikslumu;

• kontekstu ar nuotaika;

• konkurentų pozicionavimu;

• šaltiniais;

• haliucinacija ar subjekto neteisingu identifikavimu.

4. Palyginkite rezultatą su numatyta prekės ženklo tapatybe

Paklauskite, ar atsirandanti reprezentacija atitinka tai, kaip organizacija nori būti suprasta.

5. Analizuokite šaltinius ir informacijos spragas

Patikrinkite, ar atitinkama informacija yra prieinama, aktuali, aiški ir nuosekli visoje prekės ženklo skaitmeninėje ekosistemoje.

Čia tokios paslaugos kaip „Semantic Health“ gali padėti nustatyti prieštaravimus, trūkstamus ryšius ir prekės ženklo informacinės infrastruktūros silpnąsias vietas.

6. Pasirinkite tinkamą veiksmą

Priklausomai nuo diagnozės, kitas žingsnis gali apimti faktinės informacijos taisymą, subjekto ryšių stiprinimą, produkto turinio atnaujinimą, turinio architektūros tobulinimą arba naujos įrodymais pagrįstos medžiagos paskelbimą.

Kai problema susijusi su tuo, kaip informacija yra struktūrizuojama ir interpretuojama dirbtinio intelekto sistemų, „AI-First Content Engineering“ suteikia sistemą turinio kūrimui, orientuotam į subjektus, ryšius ir aiškiai išreikštus teiginius.

Platesnis šios infrastruktūros vaidmuo paaiškinamas „Brand semantics as infrastructure for AI search“.

7. Išmatuokite dar kartą

Koreguojamasis veiksmas nėra baigtas, kai turinys yra paskelbtas. Kitas matavimas turėtų įvertinti, ar pasirodo laukiamas pokytis ir ar neatsirado kokių nors nenumatytų padarinių kitur.

Kaip „Semantio“ palaiko prekės ženklo stebėjimą?

Vieno testo atlikimas rankiniu būdu yra paprastas. Sudėtingumas didėja, kai tyrimas apima kelias auditorijas, produktus, konkurentus, scenarijus ir generatyvines sistemas – ir kai palyginami įrašai turi būti išsaugoti laikui bėgant.

„Semantio“ organizuoja tyrimą pagal prekės ženklo tapatybę. Tai leidžia komandoms apibrėžti produktus, auditorijas ir konkurentus, o tada kurti testavimo scenarijus, pagrįstus šiais subjektais.

Rezultatus galima analizuoti visame tyrime, taip pat atskirų klausimų ir sistemų lygiu. Tai leidžia neapsiriboti paprastais paminėjimų skaičiais ir patikrinti įrodymus, slypinčius už rodiklių.

Platforma nepanaikina interpretacijos poreikio. Ji palaiko nuoseklų matavimą, struktūrizuotą palyginimą ir tyrimų įrašų išsaugojimą – elementus, reikalingus, kad stebėjimas taptų pakartojamu verslo procesu, o ne ekrano nuotraukų rinkiniu.

Norėtumėte nustatyti, kaip jūsų prekės ženklas šiandien reprezentuoja save dirbtinio intelekto sistemose ir stebėti, kaip ši reprezentacija keičiasi? Susikurkite „Semantio“ paskyrą ir nustatykite savo pirmąjį pradinio lygio matavimą.

Dažnai užduodami klausimai

Ar LLM prekės ženklo stebėjimas yra tas pats, kas socialinių tinklų klausymasis?

Ne. Socialinių tinklų klausymasis analizuoja žmonių ir organizacijų socialinėse platformose ir kituose viešuose kanaluose paskelbtą turinį. LLM stebėjimas tiria dirbtinio intelekto sistemų generuojamus atsakymus į apibrėžtus scenarijus.

Šie du metodai gali papildyti vienas kitą, tačiau jie matuoja skirtingus reiškinius.

Ar pakanka reguliariai užduoti „ChatGPT“ vieną klausimą?

Ne. Vienas klausimas neatspindi visų auditorijų, poreikių, produktų, sprendimų priėmimo etapų ir konkurencinių kontekstų, susijusių su prekės ženklu. Jis taip pat nesuteikia pakankamo pagrindo atskirti tendenciją nuo įprasto atsakymų kintamumo.

Ar didelis matomumas visada yra naudingas?

Ne. Prekės ženklas gali būti labai matomas, nes jis yra klaidingai atstovaujamas, painiojamas su kitu subjektu arba minimas nepalankiame kontekste. Matomumas visada turėtų būti analizuojamas kartu su tikslumu, aktualumu ir rekomendacijos pobūdžiu.

Ar svetainės atnaujinimas iš karto pakeis modelio atsakymus?

Nebūtinai. Pokyčiai gali būti aptinkami, apdorojami ir atspindimi skirtingu greičiu, priklausomai nuo sistemos ir jos naudojamų mechanizmų. Kai kurie atsakymai taip pat gali remtis išoriniais šaltiniais, o ne paties prekės ženklo svetaine.

Ar stebėjimas gali nustatyti kiekvieno pokyčio priežastį?

Ne. Jis gali atskleisti, kur ir kaip pasikeitė rezultatas, tačiau ne visada gali pateikti galutinių priežastinio ryšio įrodymų. Daugeliu atvejų priežastį reikia nustatyti derinant atsakymų analizę, šaltinių peržiūrą ir žinias apie pokyčius prekės ženklo informacinėje aplinkoje.

Ką mes iš tikrųjų turėtume stebėti?

LLM prekės ženklo stebėjimas yra pakartojamas tyrimas, o ne ad hoc pokalbių robotų pokalbių rinkinys.

Jo vertė priklauso nuo:

• aiškiai apibrėžto pradinio lygio;

• stabilaus subjektų ir scenarijų skydelio;

• dokumentuotų tyrimo sąlygų;

• ilgalaikių pokyčių atskyrimo nuo atsakymų kintamumo;

• tiek rodiklių, tiek visų pagrindinių įrodymų analizės;

• išvadų susiejimo su konkrečiais verslo ir komunikacijos sprendimais.

Todėl svarbiausias klausimas nėra tiesiog: „Ar modelis paminėjo mūsų prekės ženklą?“

Jis turėtų būti:

Ar dirbtinio intelekto sistemos keičia mūsų prekės ženklo reprezentaciją laikui bėgant – ir jei taip, kur, kokia kryptimi ir kokios pasekmės auditorijai?