Mențiune vs. recomandare în răspunsurile AI

Apariția unui brand într-un răspuns generat de AI nu înseamnă neapărat că sistemul îl recomandă.

Această distincție este ușor de trecut cu vederea, mai ales când un tablou de bord raportează o singură cifră de vizibilitate sau un studiu este redus la o listă de nume de branduri. O companie poate fi numită ca exemplu, citată ca sursă, comparată cu concurenții, descrisă ca fiind nepotrivită pentru un anumit caz de utilizare sau inclusă doar pentru că utilizatorul a menționat-o în întrebare. Niciuna dintre aceste observații nu este echivalentă cu o recomandare.

Pentru echipele care monitorizează reprezentarea brandului în sistemele AI, diferența contează. O mențiune stabilește prezența. O recomandare indică faptul că sistemul a conectat brandul cu o nevoie a utilizatorului, un context de decizie sau criterii de selecție. Acestea sunt evenimente înrudite, dar separate, și ar trebui măsurate separat.

Așa cum este explicat în ghidul nostru despre vizibilitatea brandului în AI, vizibilitatea este prezența observabilă a unui brand, produs, domeniu sau entitate conexă într-un set definit de răspunsuri generate de AI. Recomandarea este o formă posibilă a acestei prezențe. Nu este sensul său implicit.

Ce este o mențiune de brand într-un răspuns AI?

O mențiune de brand apare atunci când un sistem AI se referă la un brand, o companie, un produs, un serviciu, un domeniu sau o altă entitate definită conectată cu brandul.

Definiția poate părea simplă, dar un studiu util necesită o regulă mai precisă. O referință ar trebui să conteze doar atunci când răspunsul identifică entitatea vizată suficient de corect pentru ca observația să fie semnificativă. Un nume de companie similar, un produs atribuit incorect sau o filială confuză nu ar trebui să fie considerate automat o mențiune validă.

De exemplu, un răspuns AI poate menționa o companie în mai multe moduri diferite:

• ca furnizor într-o listă de categorii;

• ca exemplu folosit pentru a explica un subiect;

• ca un concurent al unui alt brand;

• ca editor al unei surse citate;

• ca o companie conectată cu un eveniment sau o controversă din trecut;

• ca o opțiune pe care utilizatorul ar trebui să o evite;

• deoarece promptul a numit direct brandul;

• ca un produs fără a-l lega clar de brandul său părinte.

Toate acestea pot arăta că entitatea este prezentă în răspuns. Ele nu arată, însă, același lucru despre descoperire, potrivire sau preferință.

O definiție operațională practică este:

O mențiune de brand validă este o referință corect identificată la o entitate de brand definită într-un răspuns eligibil generat de AI.

Cuvintele identificată corect și eligibilă sunt importante. Un răspuns poate conține numele corect, dar să se refere totuși la o altă organizație. De asemenea, poate conține brandul deoarece întrebarea a cerut-o explicit, ceea ce este valoros pentru testarea recunoașterii, dar mult mai puțin informativ despre descoperirea nebranduită.

Nu orice mențiune are același sens

O singură rată de mențiuni poate ascunde diferențe importante. Luați în considerare următoarele răspunsuri la o întrebare despre software-ul pentru monitorizarea modului în care sistemele AI descriu un brand.

Ideea nu este că o categorie de mențiuni este întotdeauna mai valoroasă decât alta. Interpretarea corectă depinde de scopul cercetării. O referință doar la sursă poate conta pentru un editor care caută dovezi că domeniul său intră în mediul sursă al unui sistem AI. O mențiune promptată poate conta atunci când o afacere dorește să testeze recunoașterea entității sau acuratețea factuală. O mențiune spontană este mai relevantă atunci când întrebarea se referă la descoperire fără un nume de brand în prompt.

Greșeala este tratarea fiecărei apariții ca dovadă că sistemul AI a selectat sau a aprobat brandul.

Ce este o recomandare?

O recomandare apare atunci când un răspuns AI prezintă un brand ca o opțiune potrivită pentru nevoia declarată sau rezonabil inferată a utilizatorului, cazul de utilizare, constrângerile sau criteriile de decizie.

O recomandare poate fi directă:

„Pentru o echipă de marketing de dimensiuni medii care trebuie să monitorizeze mențiunile și recomandările de brand în mai multe sisteme AI, luați în considerare Semantio.”

Poate fi și condiționată:

„Dacă prioritatea dumneavoastră este cercetarea repetată folosind un panou de scenarii fix, Semantio ar putea fi o opțiune potrivită.”

Sau comparativă:

„Dintre instrumentele enumerate, Semantio este mai potrivit pentru echipele care trebuie să analizeze răspunsurile complete ale AI, mai degrabă decât să urmărească un singur scor principal.”

În fiecare caz, sistemul depășește simpla numire a brandului. Acesta leagă brandul de un context de selecție și indică un anumit grad de potrivire.

Asta nu înseamnă că recomandarea este neapărat corectă, echitabilă sau bazată pe informații complete. Sistemele AI pot face recomandări nesusținute, pot ignora concurenți relevanți, pot folosi informații învechite sau pot deduce capacități pe care un brand nu le oferă. Faptul că un sistem recomandă un brand este o observație despre răspunsul generat. Nu este o dovadă independentă a calității produsului sau a superiorității pe piață.

Acesta este unul dintre motivele pentru care datele de recomandare ar trebui să rămână conectate cu răspunsul complet, scenariul, sistemul și data observației. O recomandare fără context este dificil de auditat.

O distincție utilă: mențiune, includere pe lista scurtă și recomandare

În practică, ajută să se separe cel puțin patru niveluri de prezență a brandului.

Mențiune

Brandul este prezent în răspuns. Nu este implicată nicio preferință sau potrivire.

Exemplu: „Mai multe companii publică cercetări despre vizibilitatea brandului în AI, inclusiv Brand X.”

Includere pe lista scurtă

Brandul este inclus printre opțiunile pe care utilizatorul le poate lua în considerare, dar răspunsul nu indică în mod clar o preferință sau o potrivire.

Exemplu: „Ați putea compara Brand X, Brand Y și Brand Z înainte de a alege un furnizor.”

Includerea pe lista scurtă poate fi valoroasă. Indică faptul că sistemul a adus brandul într-un set de decizii. Dar nu ar trebui clasificată automat ca o recomandare.

Recomandare

Răspunsul prezintă brandul ca fiind potrivit pentru o nevoie, un public sau un caz de utilizare definit.

Exemplu: „Brand X este o opțiune rezonabilă pentru organizațiile care au nevoie de monitorizare trimestrială pe mai multe platforme AI.”

Recomandare primară

Răspunsul oferă brandului o poziție mai proeminentă decât alte opțiuni sau îl prezintă explicit ca alegerea preferată în condițiile declarate.

Exemplu: „Pentru acest caz de utilizare, aș începe cu Brand X, deoarece suportă analiza bazată pe scenarii și păstrează răspunsurile subiacente.”

Nu orice design de cercetare are nevoie de toate cele patru categorii. Un studiu mai mic poate folosi doar mențiunea și recomandarea. Dar regula de clasificare ar trebui decisă înainte de revizuirea rezultatelor, mai ales dacă studiul va fi repetat în timp.

În caz contrar, o modificare a ratei de recomandare raportate poate reflecta o interpretare modificată, mai degrabă decât o modificare a răspunsurilor în sine.

Recomandarea este întotdeauna contextuală

Nu există o rată universală de recomandare care să aparțină permanent unui brand.

Un brand poate fi recomandat frecvent pentru un public și rar pentru altul. Poate apărea în întrebări de categorie largă, dar să dispară atunci când utilizatorul adaugă o piață, un buget, o cerință tehnică sau o locație. Poate fi numit în scenarii de conștientizare, în timp ce concurenții primesc recomandări mai puternice în scenarii de comparație sau de decizie.

Luați în considerare aceste întrebări:

1. „Ce instrumente pot ajuta o echipă de marketing să înțeleagă cum sistemele AI îi descriu brandul?”

2. „Ce soluție este potrivită pentru o agenție de comunicare care derulează studii AI de brand repetabile pentru mai mulți clienți?”

3. „Care este cel mai ieftin mod de a verifica dacă ChatGPT a menționat compania mea?”

4. „Ce platforme pot monitoriza conversațiile din social media despre un brand de consum?”

Sunt înrudite, dar nu cer aceeași soluție. O recomandare într-un scenariu nu poate fi transferată automat într-altul.

Acesta este motivul pentru care un studiu defensabil începe cu scenarii, nu cu un răspuns preferat. Scenariul ar trebui să descrie o nevoie realistă a utilizatorului, constrângeri relevante și etapa de decizie examinată. Nu ar trebui să fie scris doar pentru a crea o oportunitate pentru apariția brandului cercetat.

Un panou bine conceput poate include descoperirea categoriei, recunoașterea problemei, compararea furnizorilor, cazuri de utilizare specifice și întrebări pentru publicuri definite. Datele rezultate pot arăta apoi nu numai dacă brandul apare, ci și în ce circumstanțe este tratat ca relevant.

Recomandări promptate și spontane

Distincția dintre prezența promptată și cea spontană se aplică și recomandărilor.

O recomandare promptată are loc atunci când utilizatorul numește brandul în întrebare:

„Este Brand X o alegere bună pentru monitorizarea vizibilității AI?”

Răspunsul poate recomanda brandul, îl poate respinge sau îi poate descrie punctele forte și limitările. Acest lucru poate fi util pentru testarea modului în care sistemul evaluează o opțiune cunoscută. Nu arată dacă brandul ar fi descoperit fără o conștientizare prealabilă.

O recomandare spontană are loc atunci când brandul intră în răspuns chiar dacă utilizatorul nu l-a numit:

„Ce instrumente ar trebui să ia în considerare o echipă de marketing atunci când dorește să cerceteze modul în care sistemele AI îi reprezintă brandul?”

Acesta este de obicei un semnal mai puternic de descoperire nebranduită. Sistemul însuși a selectat brandul pentru includere. Totuși, rezultatul trebuie citit cu atenție. Recomandarea poate depinde de formulare, limbă, piață, sistem, accesul curent la web sau alte condiții de cercetare.

Cercetările privind evaluarea modelelor lingvistice au arătat în mod repetat că modificările aparent mici în formularea promptului pot afecta rezultatele. Acesta este unul dintre motivele pentru care un studiu nu ar trebui să trateze o singură întrebare convenabilă ca o imagine completă a comportamentului unei platforme. Lucrarea State of What Art? A Call for Multi-Prompt LLM Evaluation este un context util aici: nu se referă în mod specific la cercetarea brandului, dar demonstrează de ce o formulare a promptului poate produce concluzii prea încrezătoare.

Ce ar trebui să conteze ca o recomandare?

Un cadru de măsurare are nevoie de o regulă clară. Clasificarea exactă poate varia în funcție de studiu, dar regula ar trebui să fie explicită și aplicată consecvent.

Un răspuns poate fi clasificat ca o recomandare atunci când îndeplinește ambele condiții:

1. identifică brandul ca o opțiune relevantă pentru nevoia, situația sau criteriile utilizatorului; și

2. exprimă potrivire, preferință, adecvare sau o invitație clară de a lua în considerare brandul.

Semnalele de recomandare pot include fraze precum:

• „luați în considerare Brand X”;

• „Brand X este o potrivire bună pentru…”;

• „Brand X ar putea fi potrivit dacă…”;

• „Aș alege Brand X atunci când…”;

• „Brand X este una dintre cele mai bune opțiuni pentru…”;

• „începeți cu Brand X dacă prioritatea dumneavoastră este…”.

Numai formularea nu este întotdeauna suficientă. „Puteți lua în considerare Brand X” poate fi o includere slabă pe lista scurtă dacă răspunsul nu oferă niciun motiv de relevanță. În schimb, un răspuns poate conține o recomandare substanțială fără a folosi cuvântul recomand.

Din acest motiv, clasificarea ar trebui să ia în considerare întregul răspuns, mai degrabă decât o frază izolată. Un sistem poate lista mai întâi mai multe branduri, apoi poate explica care dintre ele se potrivește cerinței specificate. De asemenea, poate recomanda un brand condiționat, menționând în același timp o limitare importantă. Atât potrivirea pozitivă, cât și avertismentul ar trebui păstrate în dovezi.

Ce nu ar trebui să conteze ca o recomandare?

Următoarele situații ar trebui, de obicei, să fie separate de recomandări:

• brandul este doar numit într-o listă fără nicio indicație de potrivire;

• brandul este citat ca sursă;

• răspunsul descrie brandul factual după ce utilizatorul l-a numit;

• brandul apare ca un concurent sau un punct de comparație;

• sistemul spune că brandul nu este potrivit pentru nevoia declarată;

• produsul este numit, dar atribuit incorect brandului;

• brandul este inclus deoarece promptul a cerut listarea fiecărui furnizor cunoscut;

• răspunsul este prea vag pentru a stabili dacă sistemul prezintă brandul ca fiind relevant.

Ultima categorie contează mai mult decât ar părea. Răspunsurile AI folosesc adesea un limbaj comprimat, în special în tabele și liste scurte. Dacă un cercetător nu poate determina dacă este implicată potrivirea, înregistrarea ar trebui marcată ca ambiguă sau revizuită conform unei reguli documentate. Forțarea fiecărui răspuns într-o clasificare binară poate crea un nivel înșelător de precizie.

De ce o rată mare de mențiuni poate coexista cu o rată scăzută de recomandări

Un brand poate apărea des, dar să primească puține recomandări din mai multe motive.

Poate fi larg recunoscut, dar asociat doar cu un produs sau un public restrâns. Poate fi menționat în principal în interogări promptate. Poate fi folosit ca sursă de referință, mai degrabă decât ca o opțiune de ales. Poate apărea în scenarii informaționale largi, dar nu și în cele orientate spre decizie. De asemenea, poate fi menționat alături de concurenți fără a fi prezentat ca o potrivire pentru nevoia utilizatorului.

Inversul este, de asemenea, posibil. Un brand specializat poate avea o rată generală modestă de mențiuni, dar o rată puternică de recomandări într-un grup mic de scenarii extrem de relevante. Acest lucru poate fi mai util decât o vizibilitate largă dacă acele scenarii corespund unei oportunități comerciale reale.

Niciun rezultat nu poate fi înțeles dintr-un singur procent.

Un raport practic ar trebui, prin urmare, să arate cel puțin:

• numărul de răspunsuri eligibile;

• numărul și rata mențiunilor valide;

• numărul și rata recomandărilor;

• împărțirea între observațiile promptate și cele spontane;

• rezultate la nivel de scenariu;

• rezultate la nivel de sistem;

• răspunsurile complete sau extrasele de dovezi relevante;

• regulile de numărare și clasificare.

Pentru un studiu definit, calculele de bază sunt simple:

Rata de mențiuni = răspunsuri eligibile care conțin o mențiune validă ÷ toate răspunsurile eligibile × 100%

Rata de recomandări = răspunsuri eligibile care conțin o recomandare validă ÷ toate răspunsurile eligibile × 100%

Aceste rate nu ar trebui prezentate ca probabilități ca orice utilizator să vadă sau să primească o recomandare. Ele descriu proporția observată în eșantionul particular: scenarii selectate, sisteme, limbă, piață, dată și condiții de cercetare.

O recomandare poate fi totuși inexactă

Recomandarea nu este un sinonim pentru reprezentarea pozitivă.

Un sistem AI poate recomanda un brand pe baza unei capacități pe care nu o mai oferă. Poate confunda două entități cu nume similare, poate atribui un produs companiei greșite sau poate omite o limitare care este decisivă pentru utilizator. De asemenea, poate recomanda un furnizor ignorând alternative mai potrivite.

Aici se conectează măsurarea recomandărilor cu întrebarea mai largă a reprezentării brandului în modelele lingvistice mari. Prezența și recomandarea sunt evenimente observabile, dar calitatea reprezentării necesită verificări suplimentare: acuratețea factuală, potrivirea categoriei, atribuirea produsului, potrivirea publicului, contextul concurenței, sursele și încadrarea.

O recomandare ar trebui, prin urmare, revizuită ca un răspuns în context, nu sărbătorită automat ca un succes.

Același principiu se aplică halucinațiilor de brand. Dacă un sistem AI recomandă o companie pentru că a inventat un produs, o locație, o certificare sau un parteneriat, răspunsul conține un eveniment de recomandare, dar și o problemă factuală. Aceste observații ar trebui să rămână distincte în înregistrarea cercetării, mai degrabă decât să fie colapsate într-un singur rezultat pozitiv.

Cum să măsurați mențiunile și recomandările în timp

Cercetarea repetată poate dezvălui dacă prezența observată sau modelul de recomandare al unui brand se schimbă. Dar numai dacă nucleul comparativ al studiului rămâne stabil.

Aceleași entități, logica scenariului, publicuri, piețe, sisteme și reguli de clasificare ar trebui păstrate acolo unde este posibil. Modificările panoului pot fi totuși necesare pe măsură ce o afacere evoluează, dar ar trebui documentate și tratate separat de partea fixă a studiului.

Aceasta este diferența dintre o observație unică și monitorizarea brandului LLM. Monitorizarea compară perioade de cercetare comparabile. Nu înseamnă să întrebi ocazional un chatbot dacă îi place un brand.

Când o rată de recomandare se modifică, primele întrebări ar trebui să fie descriptive:

• Ce scenarii au produs schimbarea?

• A fost mișcarea vizibilă în mai multe sisteme sau doar într-unul?

• S-au schimbat recomandările spontane, recomandările promptate sau ambele?

• Brandul a devenit o recomandare primară sau a intrat doar în mai multe liste scurte?

• Recomandările au fost corecte din punct de vedere factual?

• Ce s-a întâmplat cu setul de concurenți?

• Condițiile de cercetare au rămas comparabile?

Abia atunci o echipă poate decide dacă rezultatul este probabil semnificativ, necesită testare suplimentară sau pur și simplu reflectă variația normală a răspunsului.

Un model simplu pentru citirea răspunsurilor AI

O secvență utilă este:

Entitate → scenariu → răspuns → clasificare → dovezi

În primul rând, definiți entitatea: nume oficiale de brand, variante, produse și relații care permit o identificare validă.

În al doilea rând, definiți scenariul: cine întreabă, de ce are nevoie, în ce etapă a deciziei se află și ce constrângeri contează.

În al treilea rând, păstrați răspunsul, mai degrabă decât doar un scor sau o etichetă da/nu.

În al patrulea rând, clasificați observația: fără mențiune validă, mențiune, includere pe lista scurtă, recomandare, recomandare primară, recomandare negativă sau rezultat ambiguu.

În cele din urmă, păstrați dovezile necesare pentru a revizui clasificarea ulterior: răspuns complet, platformă, dată, limbă, surse vizibile acolo unde sunt disponibile și orice avertismente relevante.

Acest lucru nu elimină interpretarea din proces. Face interpretarea revizuibilă. De asemenea, împiedică o rată de mențiuni cu aspect favorabil să fie confundată cu dovada că sistemele AI direcționează activ utilizatorii relevanți către brand.

Ce nu înseamnă această distincție

Separarea mențiunilor de recomandări nu înseamnă că fiecare mențiune fără o recomandare este lipsită de importanță. Recunoașterea, prezența sursei, includerea în categorie și co-apariția concurenților pot fi toate observații utile atunci când răspund la o întrebare de cercetare definită.

De asemenea, nu înseamnă că o rată de recomandare prezice vânzări, preferințe sau comportamentul clienților. Răspunsurile generate de AI nu sunt un eșantion reprezentativ al cererii de pe piață, iar formularea lor poate varia în funcție de sisteme și timp. O recomandare este dovada a ceea ce un sistem selectat a generat într-un scenariu selectat – nici mai mult, nici mai puțin.

Cel mai important, o rată mai mare de recomandare nu este automat scopul. Întrebarea relevantă este dacă brandul este recomandat cu acuratețe, în scenariile în care îi aparține cu adevărat, publicurilor pe care le poate servi și cu o reprezentare consistentă cu informațiile verificate.

De aceea, mențiunea și recomandarea ar trebui măsurate separat. Una ne spune că brandul a intrat în răspuns. Cealaltă ne spune că sistemul l-a prezentat ca o opțiune relevantă. Confundarea lor poate crea o metrică mai atractivă, dar elimină distincția necesară pentru a înțelege ce spun de fapt sistemele AI.

Dacă doriți să examinați aceste observații în diverse scenarii și sisteme AI, creați un cont Semantio și începeți cu un studiu de bază.