Zmínka vs. doporučení v AI odpovědích

To, že se značka objeví v odpovědi generované umělou inteligencí, ještě neznamená, že ji systém doporučuje.

Tento rozdíl je snadné přehlédnout, zvláště když dashboard hlásí jediné číslo viditelnosti nebo je studie zredukována na seznam názvů značek. Společnost může být uvedena jako příklad, citována jako zdroj, srovnávána s konkurenty, popsána jako nevhodná pro konkrétní případ použití nebo zahrnuta pouze proto, že ji uživatel zmínil v otázce. Žádné z těchto pozorování není ekvivalentní doporučení.

Pro týmy monitorující reprezentaci značky v systémech AI je tento rozdíl důležitý. Zmínka zakládá přítomnost. Doporučení naznačuje, že systém propojil značku s potřebou uživatele, kontextem rozhodování nebo kritérii výběru. Jsou to související, ale oddělené události, a měly by být měřeny samostatně.

Jak je vysvětleno v našem průvodci viditelností značky v AI, viditelnost je pozorovatelná přítomnost značky, produktu, domény nebo související entity v definované sadě AI-generovaných odpovědí. Doporučení je jednou z možných forem této přítomnosti. Není to její výchozí význam.

Co je zmínka o značce v AI odpovědi?

Zmínka o značce nastává, když systém AI odkazuje na značku, společnost, produkt, službu, doménu nebo jinou definovanou entitu spojenou se značkou.

Definice se může zdát přímočará, ale užitečná studie potřebuje přesnější pravidlo. Odkaz by se měl počítat pouze tehdy, když odpověď identifikuje zamýšlenou entitu dostatečně správně, aby bylo pozorování smysluplné. Podobný název společnosti, nesprávně přiřazený produkt nebo zaměněná dceřiná společnost by se neměly automaticky počítat jako platná zmínka.

Například, AI odpověď může zmínit společnost několika různými způsoby:

• jako poskytovatele v seznamu kategorií;

• jako příklad použitý k vysvětlení tématu;

• jako konkurenta jiné značky;

• jako vydavatele citovaného zdroje;

• jako společnost spojenou s minulou událostí nebo kontroverzí;

• jako možnost, které by se uživatel měl vyhnout;

• protože prompt přímo jmenoval značku;

• jako produkt bez jasného propojení s jeho mateřskou značkou.

Všechny tyto způsoby mohou ukázat, že entita je v odpovědi přítomna. Neukazují však totéž o objevitelnosti, vhodnosti nebo preferenci.

Praktická operační definice zní:

Platná zmínka o značce je správně identifikovaný odkaz na definovanou entitu značky v rámci způsobilé AI-generované odpovědi.

Slova správně identifikovaný a způsobilý jsou důležitá. Odpověď může obsahovat správný název, ale stále odkazovat na jinou organizaci. Může také obsahovat značku, protože otázka to výslovně vyžadovala, což je cenné pro testování rozpoznání, ale mnohem méně informativní o nebrandovaném objevu.

Ne každá zmínka má stejný význam

Jednotná míra zmínek může skrývat důležité rozdíly. Zvažte následující odpovědi na otázku o softwaru pro monitorování toho, jak systémy AI popisují značku.

Jde o to, že jedna kategorie zmínky není vždy cennější než druhá. Správná interpretace závisí na účelu výzkumu. Odkaz pouze na zdroj může být důležitý pro vydavatele, který hledá důkaz, že jeho doména vstupuje do zdrojového prostředí systému AI. Vyvolaná zmínka může být důležitá, když podnik chce testovat rozpoznání entity nebo faktickou přesnost. Spontánní zmínka je relevantnější, když se otázka týká objevu bez názvu značky v promptu.

Chybou je považovat každou událost za důkaz, že systém AI značku vybral nebo schválil.

Co je doporučení?

Doporučení nastává, když AI odpověď představí značku jako vhodnou možnost pro uživatelovu uvedenou nebo rozumně odvozenou potřebu, případ použití, omezení nebo kritéria rozhodování.

Doporučení může být přímé:

„Pro středně velký marketingový tým, který potřebuje monitorovat zmínky a doporučení značky napříč několika systémy AI, zvažte Semantio.“

Může být také podmíněné:

„Pokud je vaší prioritou opakovaný výzkum pomocí pevného panelu scénářů, Semantio může být vhodnou volbou.“

Nebo srovnávací:

„Mezi uvedenými nástroji je Semantio vhodnější pro týmy, které potřebují analyzovat plné AI odpovědi, spíše než sledovat jediné hlavní skóre.“

V každém případě systém jde nad rámec pouhého pojmenování značky. Propojuje značku s kontextem výběru a naznačuje určitou míru vhodnosti.

To neznamená, že doporučení je nutně správné, spravedlivé nebo založené na úplných informacích. Systémy AI mohou dávat nepodložená doporučení, přehlížet relevantní konkurenty, používat zastaralé informace nebo odvozovat schopnosti, které značka nenabízí. Skutečnost, že systém doporučuje značku, je pozorováním generované odpovědi. Není to nezávislý důkaz kvality produktu nebo tržní převahy.

To je jeden z důvodů, proč by data o doporučeních měla zůstat spojena s celou odpovědí, scénářem, systémem a datem pozorování. Doporučení bez kontextu je obtížné auditovat.

Užitečné rozlišení: zmínka, zařazení do užšího výběru a doporučení

V praxi pomáhá oddělit alespoň čtyři úrovně přítomnosti značky.

Zmínka

Značka je přítomna v odpovědi. Není implikována žádná preference ani vhodnost.

Příklad: „Několik společností publikuje výzkum o viditelnosti značky v AI, včetně Značky X.“

Zařazení do užšího výběru

Značka je zahrnuta mezi možnosti, které uživatel může zvážit, ale odpověď jasně nenaznačuje preferenci nebo vhodnost.

Příklad: „Před výběrem poskytovatele byste mohli porovnat Značku X, Značku Y a Značku Z.“

Zařazení do užšího výběru může být cenné. Naznačuje, že systém značku zařadil do rozhodovací sady. Nemělo by se však automaticky klasifikovat jako doporučení.

Doporučení

Odpověď představuje značku jako vhodnou pro definovanou potřebu, publikum nebo případ použití.

Příklad: „Značka X je rozumnou volbou pro organizace, které potřebují čtvrtletní monitorování napříč několika platformami AI.“

Primární doporučení

Odpověď dává značce prominentnější pozici než jiné možnosti nebo ji výslovně představuje jako preferovanou volbu za uvedených podmínek.

Příklad: „Pro tento případ použití bych začal se Značkou X, protože podporuje analýzu založenou na scénářích a zachovává podkladové odpovědi.“

Ne každý výzkumný design potřebuje všechny čtyři kategorie. Menší studie může používat pouze zmínku a doporučení. Pravidlo klasifikace by však mělo být rozhodnuto před přezkoumáním výsledků, zejména pokud se studie bude v průběhu času opakovat.

Jinak může změna hlášené míry doporučení odrážet změněnou interpretaci spíše než změnu samotných odpovědí.

Doporučení je vždy kontextuální

Neexistuje univerzální míra doporučení, která by trvale patřila značce.

Značka může být často doporučována pro jedno publikum a zřídka pro jiné. Může se objevit v širokých kategoriích otázek, ale zmizet, když uživatel přidá trh, rozpočet, technický požadavek nebo lokalitu. Může být jmenována ve scénářích fáze povědomí, zatímco konkurenti dostávají silnější doporučení ve scénářích srovnání nebo rozhodování.

Zvažte tyto otázky:

1. „Jaké nástroje mohou pomoci marketingovému týmu pochopit, jak systémy AI popisují jeho značku?“

2. „Které řešení je vhodné pro komunikační agenturu provádějící opakovatelné studie značky v AI pro několik klientů?“

3. „Jaký je nejlevnější způsob, jak zkontrolovat, zda ChatGPT zmínil mou společnost?“

4. „Které platformy mohou monitorovat konverzace na sociálních médiích o spotřebitelské značce?“

Jsou příbuzné, ale nepožadují stejné řešení. Doporučení v jednom scénáři nelze automaticky přenést na jiný.

Proto obhajitelná studie začíná scénáři, nikoli preferovanou odpovědí. Scénář by měl popisovat realistickou potřebu uživatele, relevantní omezení a fázi rozhodování, která je zkoumána. Neměl by být napsán pouze proto, aby vytvořil příležitost pro zkoumanou značku, aby se objevila.

Dobře navržený panel může zahrnovat objevování kategorií, rozpoznání problému, srovnání poskytovatelů, specifické případy použití a otázky pro definované publikum. Výsledná data pak mohou ukázat nejen to, zda se značka objeví, ale za jakých okolností je považována za relevantní.

Vyvolaná a spontánní doporučení

Rozdíl mezi vyvolanou a spontánní přítomností platí i pro doporučení.

Vyvolané doporučení nastane, když uživatel jmenuje značku v otázce:

„Je Značka X dobrou volbou pro monitorování viditelnosti v AI?“

Odpověď může značku doporučit, odmítnout ji nebo popsat její silné stránky a omezení. To může být užitečné pro testování, jak systém hodnotí známou možnost. Neukazuje to, zda by značka byla objevena bez předchozího povědomí.

Spontánní doporučení nastane, když se značka objeví v odpovědi, i když ji uživatel nejmenoval:

„Jaké nástroje by měl marketingový tým zvážit, když chce zkoumat, jak systémy AI reprezentují jeho značku?“

To je obvykle silnější signál nebrandované objevitelnosti. Systém sám vybral značku k zařazení. Přesto je třeba výsledek pečlivě číst. Doporučení může záviset na formulaci, jazyce, trhu, systému, aktuálním přístupu k webu nebo jiných výzkumných podmínkách.

Výzkum hodnocení jazykových modelů opakovaně ukázal, že zdánlivě malé změny ve formulaci promptu mohou ovlivnit výstupy. To je jeden z důvodů, proč by studie neměla považovat jedinou vhodnou otázku za úplný obraz chování platformy. Článek State of What Art? A Call for Multi-Prompt LLM Evaluation je zde užitečným pozadím: netýká se konkrétně výzkumu značek, ale demonstruje, proč jedna formulace promptu může vést k příliš sebevědomým závěrům.

Co by se mělo počítat jako doporučení?

Měřicí rámec potřebuje jasné pravidlo. Přesná klasifikace se může lišit podle studie, ale pravidlo by mělo být explicitní a konzistentně aplikované.

Odpověď může být klasifikována jako doporučení, pokud splňuje obě podmínky:

1. identifikuje značku jako možnost relevantní pro potřebu, situaci nebo kritéria uživatele; a

2. vyjadřuje vhodnost, preferenci, shodu nebo jasnou výzvu k zvážení značky.

Signály doporučení mohou zahrnovat fráze jako:

• „zvažte Značku X“;

• „Značka X se dobře hodí pro…“;

• „Značka X může být vhodná, pokud…“;

• „Zvolil bych Značku X, když…“;

• „Značka X je jednou z lepších možností pro…“;

• „začněte se Značkou X, pokud je vaší prioritou…“.

Samotná formulace není vždy dostatečná. „Můžete zvážit Značku X“ může být slabé zařazení do užšího výběru, pokud odpověď neuvádí žádný důvod relevance. Naopak, odpověď může obsahovat podstatné doporučení, aniž by použila slovo doporučit.

Z tohoto důvodu by klasifikace měla zohledňovat celou odpověď, nikoli izolovanou frázi. Systém může nejprve uvést několik značek, poté vysvětlit, která z nich vyhovuje specifikovanému požadavku. Může také doporučit značku podmíněně, přičemž si všimne důležitého omezení. Jak pozitivní shoda, tak výhrada by měly být zachovány v důkazech.

Co by se nemělo počítat jako doporučení?

Následující situace by se obvykle měly oddělit od doporučení:

• značka je pouze jmenována v seznamu bez jakékoli indikace vhodnosti;

• značka je citována jako zdroj;

• odpověď popisuje značku fakticky poté, co ji uživatel jmenoval;

• značka se objevuje jako konkurent nebo srovnávací bod;

• systém říká, že značka není vhodná pro uvedenou potřebu;

• produkt je pojmenován, ale nesprávně připsán značce;

• značka je zahrnuta, protože prompt vyžadoval, aby byli uvedeni všichni známí poskytovatelé;

• odpověď je příliš vágní na to, aby bylo možné určit, zda systém představuje značku jako relevantní.

Poslední kategorie je důležitější, než se může zdát. Odpovědi AI často používají zhuštěný jazyk, zejména v tabulkách a krátkých seznamech. Pokud výzkumník nemůže určit, zda je implikována vhodnost, záznam by měl být označen jako nejednoznačný nebo přezkoumán podle zdokumentovaného pravidla. Nucení každé odpovědi do binární klasifikace může vytvořit zavádějící úroveň přesnosti.

Proč vysoká míra zmínek může koexistovat s nízkou mírou doporučení

Značka se může často objevovat, přesto dostávat málo doporučení z několika důvodů.

Může být široce rozpoznána, ale spojena pouze s úzkým produktem nebo publikem. Může být zmíněna hlavně v dotazech s promptem. Může být použita jako referenční zdroj spíše než jako možnost k výběru. Může se objevit v širokých informačních scénářích, ale ne v těch orientovaných na rozhodování. Může být také zmíněna vedle konkurentů, aniž by byla prezentována jako vhodná pro potřebu uživatele.

Opak je také možný. Specializovaná značka může mít skromnou celkovou míru zmínek, ale silnou míru doporučení v malé skupině vysoce relevantních scénářů. To může být užitečnější než široká viditelnost, pokud tyto scénáře odpovídají skutečné komerční příležitosti.

Ani jeden výsledek nelze pochopit pouze z jediného procenta.

Praktická zpráva by proto měla ukazovat alespoň:

• počet způsobilých odpovědí;

• počet a míru platných zmínek;

• počet a míru doporučení;

• rozdělení mezi vyvolaná a spontánní pozorování;

• výsledky na úrovni scénáře;

• výsledky na úrovni systému;

• úplné odpovědi nebo relevantní výňatky důkazů;

• pravidla počítání a klasifikace.

Pro definovanou studii jsou základní výpočty jednoduché:

Míra zmínek = způsobilé odpovědi obsahující platnou zmínku ÷ všechny způsobilé odpovědi × 100%

Míra doporučení = způsobilé odpovědi obsahující platné doporučení ÷ všechny způsobilé odpovědi × 100%

Tyto míry by neměly být prezentovány jako pravděpodobnosti, že jakýkoli uživatel uvidí nebo obdrží doporučení. Popisují podíl pozorovaný v konkrétním vzorku: vybrané scénáře, systémy, jazyk, trh, datum a výzkumné podmínky.

Doporučení může být stále nepřesné

Doporučení není synonymem pro pozitivní reprezentaci.

Systém AI může doporučit značku na základě schopnosti, kterou již nenabízí. Může zaměnit dvě entity s podobnými názvy, připsat produkt nesprávné společnosti nebo vynechat omezení, které je pro uživatele rozhodující. Může také doporučit jednoho poskytovatele, zatímco ignoruje vhodnější alternativy.

Zde se měření doporučení spojuje s širší otázkou reprezentace značky ve velkých jazykových modelech. Přítomnost a doporučení jsou pozorovatelné události, ale kvalita reprezentace vyžaduje další kontroly: faktickou přesnost, shodu s kategorií, přiřazení produktu, shodu s publikem, kontext konkurentů, zdroje a rámování.

Doporučení by proto mělo být přezkoumáno jako odpověď v kontextu, nikoli automaticky oslavováno jako úspěch.

Stejný princip platí pro halucinace značky. Pokud systém AI doporučí společnost, protože si vymyslel produkt, lokalitu, certifikaci nebo partnerství, odpověď obsahuje událost doporučení, ale také faktický problém. Tato pozorování by měla zůstat rozlišitelná ve výzkumném záznamu, spíše než aby byla sloučena do jednoho pozitivního výsledku.

Jak měřit zmínky a doporučení v průběhu času

Opakovaný výzkum může odhalit, zda se pozorovaná přítomnost nebo vzorec doporučení značky mění. Ale pouze pokud srovnávací jádro studie zůstane stabilní.

Stejné entity, logika scénářů, publikum, trhy, systémy a klasifikační pravidla by měly být, pokud možno, zachovány. Změny v panelu mohou být stále nutné, jak se podnik vyvíjí, ale měly by být zdokumentovány a zpracovány odděleně od pevné části studie.

To je rozdíl mezi jednorázovým pozorováním a monitorováním značky LLM. Monitorování porovnává srovnatelná výzkumná období. Neznamená to občas se zeptat chatbota, zda má rád značku.

Když se změní míra doporučení, první otázky by měly být popisné:

• Které scénáře způsobily změnu?

• Byl pohyb viditelný napříč několika systémy nebo jen jedním?

• Změnila se spontánní doporučení, vyvolaná doporučení, nebo obojí?

• Stala se značka primárním doporučením, nebo se pouze dostala do více užších výběrů?

• Byla doporučení fakticky přesná?

• Co se stalo s konkurenčním souborem?

• Zůstaly výzkumné podmínky srovnatelné?

Teprve poté se tým může rozhodnout, zda je výsledek pravděpodobně smysluplný, vyžaduje další testování nebo jednoduše odráží normální variace odpovědí.

Jednoduchý model pro čtení AI odpovědí

Užitečná posloupnost je:

Entita → scénář → odpověď → klasifikace → důkaz

Nejprve definujte entitu: oficiální názvy značek, varianty, produkty a vztahy, které umožňují platnou identifikaci.

Za druhé, definujte scénář: kdo se ptá, co potřebuje, v jaké fázi rozhodování se nachází a jaká omezení jsou důležitá.

Za třetí, zachovejte odpověď, spíše než pouze skóre nebo ano/ne štítek.

Za čtvrté, klasifikujte pozorování: žádná platná zmínka, zmínka, zařazení do užšího výběru, doporučení, primární doporučení, negativní doporučení nebo nejednoznačný výsledek.

Nakonec si ponechejte důkazy potřebné k pozdějšímu přezkoumání klasifikace: úplnou odpověď, platformu, datum, jazyk, dostupné viditelné zdroje a veškeré relevantní výhrady.

To neodstraňuje interpretaci z procesu. Umožňuje přezkoumání interpretace. Také to zabraňuje tomu, aby se příznivě vypadající míra zmínek zaměnila za důkaz, že systémy AI aktivně směřují relevantní uživatele k značce.

Co toto rozlišení neznamená

Oddělení zmínek od doporučení neznamená, že každá zmínka bez doporučení je nedůležitá. Rozpoznání, přítomnost zdroje, zařazení do kategorie a souběh s konkurenty mohou být užitečná pozorování, pokud odpovídají definované výzkumné otázce.

Také to neznamená, že míra doporučení předpovídá prodeje, preference nebo chování zákazníků. Odpovědi generované AI nejsou reprezentativním vzorkem tržní poptávky a jejich formulace se může lišit napříč systémy a časem. Doporučení je důkazem toho, co vybraný systém vygeneroval ve vybraném scénáři – nic víc a nic míň.

Nejdůležitější je, že vyšší míra doporučení není automaticky cílem. Relevantní otázkou je, zda je značka doporučována přesně, ve scénářích, kam skutečně patří, publiku, kterému může sloužit, a s reprezentací konzistentní s ověřenými informacemi.

Proto by se zmínky a doporučení měly měřit samostatně. Jedno nám říká, že se značka objevila v odpovědi. Druhé nám říká, že ji systém představil jako relevantní možnost. Jejich sloučení může vytvořit atraktivnější metriku, ale odstraňuje rozlišení potřebné k pochopení toho, co systémy AI skutečně říkají.

Pokud chcete tato pozorování prozkoumat napříč definovanými scénáři a systémy AI, vytvořte si účet Semantio a začněte s výchozí studií.