Zmienka vs. odporúčanie v AI odpovediach

To, že sa značka objaví v odpovedi generovanej AI, ešte neznamená, že ju systém odporúča.

Tento rozdiel sa ľahko prehliadne, najmä keď dashboard vykazuje len jedno číslo viditeľnosti alebo sa štúdia zredukuje na zoznam názvov značiek. Spoločnosť môže byť uvedená ako príklad, citovaná ako zdroj, porovnávaná s konkurentmi, opísaná ako nevhodná pre konkrétny prípad použitia alebo zahrnutá len preto, že ju používateľ spomenul v otázke. Žiadne z týchto pozorovaní nie je ekvivalentné odporúčaniu.

Pre tímy monitorujúce zastúpenie značiek v AI systémoch je tento rozdiel dôležitý. Zmienka potvrdzuje prítomnosť. Odporúčanie naznačuje, že systém spojil značku s potrebou používateľa, kontextom rozhodovania alebo kritériami výberu. Sú to súvisiace, ale samostatné udalosti a mali by sa merať oddelene.

Ako je vysvetlené v našom sprievodcovi viditeľnosťou značky v AI, viditeľnosť je pozorovateľná prítomnosť značky, produktu, domény alebo súvisiacej entity v definovanom súbore AI-generovaných odpovedí. Odporúčanie je jednou z možných foriem tejto prítomnosti. Nie je to jej predvolený význam.

Čo je zmienka o značke v AI odpovedi?

Zmienka o značke nastane, keď AI systém odkazuje na značku, spoločnosť, produkt, službu, doménu alebo inú definovanú entitu spojenú so značkou.

Definícia sa môže zdať jednoduchá, ale užitočná štúdia potrebuje presnejšie pravidlo. Odkaz by sa mal počítať len vtedy, ak odpoveď správne identifikuje zamýšľanú entitu dostatočne na to, aby bolo pozorovanie zmysluplné. Podobný názov spoločnosti, nesprávne priradený produkt alebo zamenená dcérska spoločnosť by sa nemali automaticky počítať ako platná zmienka.

Napríklad, AI odpoveď môže spomenúť spoločnosť niekoľkými rôznymi spôsobmi:

• ako poskytovateľa v zozname kategórií;

• ako príklad použitý na vysvetlenie témy;

• ako konkurenta inej značky;

• ako vydavateľa citovaného zdroja;

• ako spoločnosť spojenú s minulou udalosťou alebo kontroverziou;

• ako možnosť, ktorej by sa používateľ mal vyhnúť;

• pretože výzva priamo pomenovala značku;

• ako produkt bez jasného prepojenia s jeho materskou značkou.

Všetky tieto môžu ukázať, že entita je v odpovedi prítomná. Neukazujú však to isté o objaviteľnosti, vhodnosti alebo preferencii.

Praktická operačná definícia je:

Platná zmienka o značke je správne identifikovaný odkaz na definovanú entitu značky v rámci oprávnenej AI-generovanej odpovede.

Slová správne identifikovaný a oprávnený sú dôležité. Odpoveď môže obsahovať správny názov, ale stále odkazovať na inú organizáciu. Môže tiež obsahovať značku, pretože otázka to výslovne vyžadovala, čo je cenné pre testovanie rozpoznávania, ale oveľa menej informatívne o nebrandovanej objaviteľnosti.

Nie každá zmienka má rovnaký význam

Jednotná miera zmienok môže zakrývať dôležité rozdiely. Zvážte nasledujúce odpovede na otázku o softvéri na monitorovanie toho, ako AI systémy popisujú značku.

Nejde o to, že jedna kategória zmienok je vždy cennejšia ako iná. Správna interpretácia závisí od účelu výskumu. Odkaz len na zdroj môže byť dôležitý pre vydavateľa, ktorý hľadá dôkaz, že jeho doména vstupuje do zdrojového prostredia AI systému. Vyžiadaná zmienka môže byť dôležitá, keď podnik chce testovať rozpoznávanie entít alebo faktickú presnosť. Spontánna zmienka je relevantnejšia, keď sa otázka týka objaviteľnosti bez názvu značky vo výzve.

Chybou je považovať každú udalosť za dôkaz, že AI systém vybral alebo schválil značku.

Čo je odporúčanie?

Odporúčanie nastane, keď AI odpoveď predstaví značku ako vhodnú možnosť pre používateľovu uvedenú alebo rozumne odvodenú potrebu, prípad použitia, obmedzenia alebo kritériá rozhodovania.

Odporúčanie môže byť priame:

„Pre stredne veľký marketingový tím, ktorý potrebuje monitorovať zmienky a odporúčania značiek v niekoľkých AI systémoch, zvážte Semantio.“

Môže byť aj podmienené:

„Ak je vašou prioritou opakovaný výskum pomocou pevného panelu scenárov, Semantio môže byť vhodnou možnosťou.“

Alebo porovnávacie:

„Spomedzi uvedených nástrojov je Semantio vhodnejšie pre tímy, ktoré potrebujú analyzovať úplné AI odpovede, než sledovať jedno hlavné skóre.“

V každom prípade systém ide nad rámec pomenovania značky. Spája značku s kontextom výberu a naznačuje určitý stupeň vhodnosti.

To neznamená, že odporúčanie je nevyhnutne správne, spravodlivé alebo založené na úplných informáciách. AI systémy môžu robiť nepodložené odporúčania, prehliadať relevantných konkurentov, používať zastarané informácie alebo odvodzovať schopnosti, ktoré značka neponúka. Skutočnosť, že systém odporúča značku, je pozorovaním o generovanej odpovedi. Nie je to nezávislý dôkaz kvality produktu alebo trhovej nadradenosti.

To je jeden z dôvodov, prečo by údaje o odporúčaniach mali zostať spojené s úplnou odpoveďou, scenárom, systémom a dátumom pozorovania. Odporúčanie bez kontextu je ťažké auditovať.

Užitočné rozlíšenie: zmienka, zaradenie do užšieho výberu a odporúčanie

V praxi pomáha oddeliť aspoň štyri úrovne prítomnosti značky.

Zmienka

Značka je prítomná v odpovedi. Nie je naznačená žiadna preferencia ani vhodnosť.

Príklad: „Niekoľko spoločností publikuje výskum o viditeľnosti značiek v AI, vrátane Značky X.“

Zaradenie do užšieho výberu

Značka je zahrnutá medzi možnosti, ktoré môže používateľ zvážiť, ale odpoveď jasne nenaznačuje preferenciu alebo vhodnosť.

Príklad: „Pred výberom poskytovateľa by ste mohli porovnať Značku X, Značku Y a Značku Z.“

Zaradenie do užšieho výberu môže byť cenné. Naznačuje, že systém zaradil značku do rozhodovacieho súboru. Nemalo by sa však automaticky klasifikovať ako odporúčanie.

Odporúčanie

Odpoveď predstavuje značku ako vhodnú pre definovanú potrebu, publikum alebo prípad použitia.

Príklad: „Značka X je rozumnou možnosťou pre organizácie, ktoré potrebujú štvrťročné monitorovanie naprieč niekoľkými AI platformami.“

Primárne odporúčanie

Odpoveď dáva značke prominentnejšiu pozíciu ako iným možnostiam alebo ju výslovne predstavuje ako preferovanú voľbu za uvedených podmienok.

Príklad: „Pre tento prípad použitia by som začal so Značkou X, pretože podporuje analýzu založenú na scenároch a zachováva základné odpovede.“

Nie každý výskumný návrh potrebuje všetky štyri kategórie. Menšia štúdia môže použiť len zmienku a odporúčanie. Pravidlo klasifikácie by sa však malo rozhodnúť pred preskúmaním výsledkov, najmä ak sa štúdia bude časom opakovať.

V opačnom prípade môže zmena v hlásenej miere odporúčaní odrážať zmenenú interpretáciu, a nie zmenu v samotných odpovediach.

Odporúčanie je vždy kontextuálne

Neexistuje žiadna univerzálna miera odporúčaní, ktorá by trvalo patrila značke.

Značka môže byť často odporúčaná pre jedno publikum a zriedka pre iné. Môže sa objaviť v širokých kategóriách otázok, ale zmiznúť, keď používateľ pridá trh, rozpočet, technickú požiadavku alebo lokalitu. Môže byť pomenovaná v scenároch fázy povedomia, zatiaľ čo konkurenti dostávajú silnejšie odporúčania v scenároch porovnávania alebo rozhodovania.

Zvážte tieto otázky:

1. „Aké nástroje môžu pomôcť marketingovému tímu pochopiť, ako AI systémy popisujú jeho značku?“

2. „Ktoré riešenie je vhodné pre komunikačnú agentúru, ktorá vykonáva opakovateľné štúdie značiek v AI pre niekoľkých klientov?“

3. „Aký je najlacnejší spôsob, ako skontrolovať, či ChatGPT spomenul moju spoločnosť?“

4. „Ktoré platformy môžu monitorovať konverzácie na sociálnych médiách o spotrebiteľskej značke?“

Súvisia, ale nežiadajú rovnaké riešenie. Odporúčanie v jednom scenári nemožno automaticky preniesť na iný.

Preto obhájiteľná štúdia začína scenármi, nie preferovanou odpoveďou. Scenár by mal popisovať realistickú potrebu používateľa, relevantné obmedzenia a fázu rozhodovania, ktorá sa skúma. Nemal by byť napísaný len na vytvorenie príležitosti pre výskumnú značku, aby sa objavila.

Dobre navrhnutý panel môže zahŕňať objavovanie kategórií, rozpoznávanie problémov, porovnávanie poskytovateľov, špecifické prípady použitia a otázky pre definované publiká. Výsledné údaje potom môžu ukázať nielen to, či sa značka objaví, ale aj za akých okolností sa považuje za relevantnú.

Vyžiadané a spontánne odporúčania

Rozdiel medzi vyžiadanou a spontánnou prítomnosťou platí aj pre odporúčania.

Vyžiadané odporúčanie nastane, keď používateľ pomenuje značku v otázke:

„Je Značka X dobrou voľbou pre monitorovanie viditeľnosti v AI?“

Odpoveď môže značku odporučiť, zamietnuť ju alebo popísať jej silné stránky a obmedzenia. To môže byť užitočné na testovanie, ako systém hodnotí známu možnosť. Neukazuje to, či by sa značka objavila bez predchádzajúceho povedomia.

Spontánne odporúčanie nastane, keď sa značka objaví v odpovedi, aj keď ju používateľ nepomenoval:

„Aké nástroje by mal marketingový tím zvážiť, keď chce skúmať, ako AI systémy reprezentujú jeho značku?“

Toto je zvyčajne silnejší signál nebrandovanej objaviteľnosti. Systém sám vybral značku na zaradenie. Napriek tomu je potrebné výsledok pozorne prečítať. Odporúčanie môže závisieť od formulácie, jazyka, trhu, systému, aktuálneho prístupu k webu alebo iných výskumných podmienok.

Výskum hodnotenia jazykových modelov opakovane ukázal, že zdanlivo malé zmeny vo formulácii výzvy môžu ovplyvniť výstupy. To je jeden z dôvodov, prečo by štúdia nemala považovať jednu vhodnú otázku za úplný obraz správania platformy. Práca State of What Art? A Call for Multi-Prompt LLM Evaluation je tu užitočným pozadím: netýka sa konkrétne výskumu značiek, ale demonštruje, prečo jedna formulácia výzvy môže viesť k príliš sebavedomým záverom.

Čo by sa malo počítať ako odporúčanie?

Merací rámec potrebuje jasné pravidlo. Presná klasifikácia sa môže líšiť v závislosti od štúdie, ale pravidlo by malo byť explicitné a konzistentne aplikované.

Odpoveď môže byť klasifikovaná ako odporúčanie, ak spĺňa obe podmienky:

1. identifikuje značku ako možnosť relevantnú pre potrebu, situáciu alebo kritériá používateľa; a

2. vyjadruje vhodnosť, preferenciu, zhodu alebo jasnú výzvu na zváženie značky.

Signály odporúčania môžu zahŕňať frázy ako:

• „zvážte Značku X“;

• „Značka X je vhodná pre…“;

• „Značka X môže byť vhodná, ak…“;

• „Vybral by som si Značku X, keď…“;

• „Značka X je jednou z lepších možností pre…“;

• „začnite so Značkou X, ak je vašou prioritou…“.

Samotná formulácia nie je vždy dostatočná. „Môžete zvážiť Značku X“ môže byť slabé zaradenie do užšieho výberu, ak odpoveď neuvádza žiadny dôvod relevantnosti. Naopak, odpoveď môže obsahovať podstatné odporúčanie bez použitia slova odporúčať.

Z tohto dôvodu by klasifikácia mala zohľadňovať celú odpoveď, a nie izolovanú frázu. Systém môže najprv uviesť niekoľko značiek a potom vysvetliť, ktorá z nich vyhovuje špecifikovanej požiadavke. Môže tiež odporučiť značku podmienečne, pričom si všimne dôležité obmedzenie. Pozitívna zhoda aj výhrada by mali byť zachované v dôkazoch.

Čo by sa nemalo počítať ako odporúčanie?

Nasledujúce situácie by sa mali zvyčajne oddeliť od odporúčaní:

• značka je len pomenovaná v zozname bez akéhokoľvek náznaku vhodnosti;

• značka je citovaná ako zdroj;

• odpoveď fakticky popisuje značku po tom, čo ju používateľ pomenoval;

• značka sa objaví ako konkurent alebo bod porovnania;

• systém hovorí, že značka nie je vhodná pre uvedenú potrebu;

• produkt je pomenovaný, ale nesprávne priradený značke;

• značka je zahrnutá, pretože výzva vyžadovala, aby boli uvedení všetci známi poskytovatelia;

• odpoveď je príliš vágna na to, aby sa dalo určiť, či systém predstavuje značku ako relevantnú.

Posledná kategória je dôležitejšia, než sa môže zdať. AI odpovede často používajú komprimovaný jazyk, najmä v tabuľkách a krátkych zoznamoch. Ak výskumník nemôže určiť, či je naznačená vhodnosť, záznam by mal byť označený ako nejednoznačný alebo preskúmaný podľa zdokumentovaného pravidla. Násilné zaradenie každej odpovede do binárnej klasifikácie môže vytvoriť zavádzajúcu úroveň presnosti.

Prečo vysoká miera zmienok môže koexistovať s nízkou mierou odporúčaní

Značka sa môže objavovať často, no dostávať málo odporúčaní z niekoľkých dôvodov.

Môže byť široko rozpoznaná, ale spojená len s úzkym produktom alebo publikom. Môže byť spomínaná hlavne v vyžiadaných dotazoch. Môže byť použitá ako referenčný zdroj, a nie ako možnosť výberu. Môže sa objavovať v širokých informačných scenároch, ale nie v tých, ktoré sú orientované na rozhodovanie. Môže byť tiež spomínaná popri konkurentoch bez toho, aby bola prezentovaná ako vhodná pre potrebu používateľa.

Opak je tiež možný. Špecializovaná značka môže mať miernu celkovú mieru zmienok, ale silnú mieru odporúčaní v malej skupine vysoko relevantných scenárov. To môže byť užitočnejšie ako široká viditeľnosť, ak tieto scenáre zodpovedajú skutočnej komerčnej príležitosti.

Ani jeden výsledok nemožno pochopiť len z jedného percenta.

Praktická správa by preto mala ukázať aspoň:

• počet oprávnených odpovedí;

• počet a mieru platných zmienok;

• počet a mieru odporúčaní;

• rozdelenie medzi vyžiadané a spontánne pozorovania;

• výsledky na úrovni scenára;

• výsledky na úrovni systému;

• úplné odpovede alebo relevantné výňatky z dôkazov;

• pravidlá počítania a klasifikácie.

Pre definovanú štúdiu sú základné výpočty jednoduché:

Miera zmienok = oprávnené odpovede obsahujúce platnú zmienku ÷ všetky oprávnené odpovede × 100%

Miera odporúčaní = oprávnené odpovede obsahujúce platné odporúčanie ÷ všetky oprávnené odpovede × 100%

Tieto miery by sa nemali prezentovať ako pravdepodobnosti, že ktorýkoľvek používateľ uvidí alebo dostane odporúčanie. Popisujú podiel pozorovaný v konkrétnej vzorke: vybrané scenáre, systémy, jazyk, trh, dátum a výskumné podmienky.

Odporúčanie môže byť stále nepresné

Odporúčanie nie je synonymom pre pozitívnu reprezentáciu.

AI systém môže odporučiť značku na základe schopnosti, ktorú už neponúka. Môže zameniť dve entity s podobnými názvami, priradiť produkt nesprávnej spoločnosti alebo vynechať obmedzenie, ktoré je pre používateľa rozhodujúce. Môže tiež odporučiť jedného poskytovateľa, pričom ignoruje vhodnejšie alternatívy.

Tu sa meranie odporúčaní spája so širšou otázkou reprezentácie značiek vo veľkých jazykových modeloch. Prítomnosť a odporúčanie sú pozorovateľné udalosti, ale kvalita reprezentácie si vyžaduje dodatočné kontroly: faktickú presnosť, zhodu kategórie, priradenie produktu, zhodu publika, kontext konkurentov, zdroje a rámovanie.

Odporúčanie by sa preto malo posudzovať ako odpoveď v kontexte, a nie automaticky oslavovať ako úspech.

Rovnaký princíp platí aj pre halucinácie značiek. Ak AI systém odporúča spoločnosť, pretože si vymyslel produkt, lokalitu, certifikáciu alebo partnerstvo, odpoveď obsahuje udalosť odporúčania, ale aj faktický problém. Tieto pozorovania by mali zostať v zázname výskumu rozlíšiteľné, namiesto toho, aby sa zrútili do jedného pozitívneho výsledku.

Ako merať zmienky a odporúčania v čase

Opakovaný výskum môže odhaliť, či sa pozorovaná prítomnosť alebo vzor odporúčaní značky mení. Ale len vtedy, ak zostane porovnávacie jadro štúdie stabilné.

Rovnaké entity, logika scenárov, publiká, trhy, systémy a pravidlá klasifikácie by sa mali, ak je to možné, zachovať. Zmeny v paneli môžu byť stále potrebné, keď sa podnik vyvíja, ale mali by byť zdokumentované a posudzované oddelene od pevnej časti štúdie.

To je rozdiel medzi jednorazovým pozorovaním a monitorovaním značiek LLM. Monitorovanie porovnáva porovnateľné výskumné obdobia. Neznamená to občasné pýtanie sa chatbota, či má rád značku.

Keď sa zmení miera odporúčaní, prvé otázky by mali byť popisné:

• Ktoré scenáre spôsobili zmenu?

• Bol pohyb viditeľný naprieč niekoľkými systémami alebo len jedným?

• Zmenili sa spontánne odporúčania, vyžiadané odporúčania, alebo oboje?

• Stala sa značka primárnym odporúčaním alebo sa len dostala do viacerých užších výberov?

• Boli odporúčania fakticky presné?

• Čo sa stalo s konkurenčným prostredím?

• Zostali výskumné podmienky porovnateľné?

Až potom sa tím môže rozhodnúť, či je výsledok pravdepodobne zmysluplný, vyžaduje si ďalšie testovanie alebo jednoducho odráža normálnu variáciu odpovedí.

Jednoduchý model pre čítanie AI odpovedí

Užitočná postupnosť je:

Entita → scenár → odpoveď → klasifikácia → dôkaz

Najprv definujte entitu: oficiálne názvy značiek, varianty, produkty a vzťahy, ktoré umožňujú platnú identifikáciu.

Po druhé, definujte scenár: kto sa pýta, čo potrebuje, v akej fáze rozhodovania sa nachádza a aké obmedzenia sú dôležité.

Po tretie, zachovajte odpoveď, a nie len skóre alebo štítok áno/nie.

Po štvrté, klasifikujte pozorovanie: žiadna platná zmienka, zmienka, zaradenie do užšieho výberu, odporúčanie, primárne odporúčanie, negatívne odporúčanie alebo nejednoznačný výsledok.

Nakoniec, uchovajte dôkazy potrebné na neskoršie preskúmanie klasifikácie: úplná odpoveď, platforma, dátum, jazyk, dostupné viditeľné zdroje a akékoľvek relevantné výhrady.

Tým sa neodstraňuje interpretácia z procesu. Umožňuje to preskúmať interpretáciu. Tiež to zabraňuje tomu, aby sa priaznivo vyzerajúca miera zmienok zamieňala za dôkaz, že AI systémy aktívne smerujú relevantných používateľov k značke.

Čo toto rozlíšenie neznamená

Oddelenie zmienok od odporúčaní neznamená, že každá zmienka bez odporúčania je nedôležitá. Rozpoznanie, prítomnosť zdroja, zaradenie do kategórie a spoločný výskyt konkurentov môžu byť užitočné pozorovania, ak odpovedajú na definovanú výskumnú otázku.

Tiež to neznamená, že miera odporúčaní predpovedá predaj, preferencie alebo správanie zákazníkov. AI-generované odpovede nie sú reprezentatívnou vzorkou trhového dopytu a ich formulácia sa môže líšiť naprieč systémami a časom. Odporúčanie je dôkazom toho, čo vybraný systém vygeneroval vo vybranom scenári – nič viac a nič menej.

Najdôležitejšie je, že vyššia miera odporúčaní nie je automaticky cieľom. Relevantná otázka je, či je značka odporúčaná presne, v scenároch, kde skutočne patrí, publiku, ktorému môže slúžiť, a s reprezentáciou konzistentnou s overenými informáciami.

Preto by sa zmienka a odporúčanie mali merať oddelene. Jedno nám hovorí, že značka sa objavila v odpovedi. Druhé nám hovorí, že systém ju predstavil ako relevantnú možnosť. Ich zamieňanie môže vytvoriť atraktívnejšiu metriku, ale odstraňuje rozlíšenie potrebné na pochopenie toho, čo AI systémy skutočne hovoria.

Ak chcete preskúmať tieto pozorovania naprieč definovanými scenármi a AI systémami, vytvorte si účet Semantio a začnite so základnou štúdiou.