Említés vs. ajánlás az AI válaszokban

Ha egy márka megjelenik egy mesterséges intelligencia (AI) által generált válaszban, az nem feltétlenül jelenti azt, hogy a rendszer ajánlja azt.

Ezt a különbséget könnyű figyelmen kívül hagyni, különösen akkor, ha egy műszerfal egyetlen láthatósági adatot jelent, vagy egy tanulmányt márkanevek listájára redukálnak. Egy vállalatot említhetnek példaként, forrásként idézhetnek, összehasonlíthatnak versenytársakkal, leírhatják, mint egy adott felhasználási esetre alkalmatlant, vagy csak azért szerepelhet, mert a felhasználó említette a kérdésben. Ezen megfigyelések egyike sem egyenértékű egy ajánlással.

Az AI rendszerekben a márka megjelenését monitorozó csapatok számára ez a különbség lényeges. Az említés jelenlétet jelez. Az ajánlás azt mutatja, hogy a rendszer összekapcsolta a márkát a felhasználó igényével, döntési kontextusával vagy kiválasztási kritériumaival. Ezek kapcsolódó, de különálló események, és külön kell mérni őket.

Ahogy az AI márka láthatóságáról szóló útmutatónkban is kifejtettük, a láthatóság egy márka, termék, domain vagy kapcsolódó entitás megfigyelhető jelenléte egy meghatározott AI-generált válaszhalmazban. Az ajánlás ennek a jelenlétnek az egyik lehetséges formája. Nem az alapértelmezett jelentése.

Mi az a márka említés egy AI válaszban?

Márka említés akkor történik, amikor egy AI rendszer egy márkára, vállalatra, termékre, szolgáltatásra, domainre vagy a márkához kapcsolódó más meghatározott entitásra hivatkozik.

A definíció egyszerűnek tűnhet, de egy hasznos tanulmányhoz pontosabb szabályra van szükség. Egy hivatkozást csak akkor szabad figyelembe venni, ha a válasz elég pontosan azonosítja a szándékolt entitást ahhoz, hogy a megfigyelés értelmes legyen. Egy hasonló cégnév, egy helytelenül tulajdonított termék vagy egy összetévesztett leányvállalat nem számít automatikusan érvényes említésnek.

Például egy AI válasz többféleképpen említhet egy vállalatot:

• szolgáltatóként egy kategórialistában;

• példaként egy téma magyarázatához;

• egy másik márka versenytársaként;

• egy idézett forrás kiadójaként;

• egy múltbeli eseményhez vagy vitához kapcsolódó vállalatként;

• egy olyan opcióként, amelyet a felhasználónak kerülnie kell;

• mert a prompt közvetlenül megnevezte a márkát;

• termékként anélkül, hogy egyértelműen összekapcsolná azt a szülőmárkával.

Mindezek azt mutathatják, hogy az entitás jelen van a válaszban. Azonban nem ugyanazt mutatják a felfedezhetőségről, alkalmasságról vagy preferenciáról.

Egy praktikus működési definíció a következő:

Érvényes márka említés egy helyesen azonosított hivatkozás egy meghatározott márka entitásra egy jogosult AI-generált válaszon belül.

A helyesen azonosított és jogosult szavak fontosak. Egy válasz tartalmazhatja a megfelelő nevet, de mégis egy másik szervezetre hivatkozhat. Tartalmazhatja a márkát azért is, mert a kérdés kifejezetten megkövetelte, ami értékes az elismerés teszteléséhez, de sokkal kevésbé informatív a márkanevet nem tartalmazó felfedezés szempontjából.

Nem minden említésnek van azonos jelentése

Egyetlen említési arány fontos különbségeket rejthet. Vegyük figyelembe a következő válaszokat egy olyan szoftverrel kapcsolatos kérdésre, amely figyeli, hogyan írják le az AI rendszerek egy márkát.

Nem az a lényeg, hogy az említések egyik kategóriája mindig értékesebb, mint a másik. A helyes értelmezés a kutatás céljától függ. Egy csak forrásra vonatkozó hivatkozás fontos lehet egy kiadó számára, amely bizonyítékot keres arra, hogy domainje bekerül egy AI rendszer forráskörnyezetébe. Egy promptált említés fontos lehet, ha egy vállalkozás entitásfelismerést vagy ténybeli pontosságot szeretne tesztelni. Egy spontán említés relevánsabb, ha a kérdés a márkanevet nem tartalmazó felfedezésre vonatkozik.

A hiba az, ha minden előfordulást úgy kezelünk, mintha az AI rendszer kiválasztotta vagy jóváhagyta volna a márkát.

Mi az ajánlás?

Ajánlás akkor történik, amikor egy AI válasz egy márkát megfelelő opcióként mutat be a felhasználó megadott vagy ésszerűen feltételezett igénye, felhasználási esete, korlátai vagy döntési kritériumai alapján.

Az ajánlás lehet közvetlen:

„Egy közepes méretű marketingcsapat számára, amelynek több AI rendszerben is figyelnie kell a márka említéseket és ajánlásokat, érdemes megfontolni a Semantiót.”

Lehet feltételes is:

„Ha az ismétlődő kutatás a prioritás egy rögzített forgatókönyv panel segítségével, a Semantio megfelelő opció lehet.”

Vagy összehasonlító:

„A felsorolt eszközök közül a Semantio jobban illeszkedik azoknak a csapatoknak, amelyeknek teljes AI válaszokat kell elemezniük, nem pedig egyetlen főcímet kell követniük.”

Minden esetben a rendszer túlmutat a márka megnevezésén. Összekapcsolja a márkát egy kiválasztási kontextussal, és bizonyos fokú alkalmasságot jelez.

Ez nem jelenti azt, hogy az ajánlás feltétlenül helyes, tisztességes vagy teljes információkon alapul. Az AI rendszerek tehetnek alátámasztatlan ajánlásokat, figyelmen kívül hagyhatnak releváns versenytársakat, elavult információkat használhatnak, vagy olyan képességeket feltételezhetnek, amelyeket egy márka nem kínál. Az a tény, hogy egy rendszer ajánl egy márkát, a generált válaszra vonatkozó megfigyelés. Nem független bizonyíték a termék minőségére vagy piaci fölényére.

Ez az egyik oka annak, hogy az ajánlási adatoknak továbbra is kapcsolódniuk kell a teljes válaszhoz, a forgatókönyvhöz, a rendszerhez és a megfigyelés dátumához. A kontextus nélküli ajánlást nehéz ellenőrizni.

Hasznos megkülönböztetés: említés, szűkített lista és ajánlás

A gyakorlatban segít legalább négy szinten elkülöníteni a márka jelenlétét.

Említés

A márka jelen van a válaszban. Nincs preferenciára vagy alkalmasságra utalás.

Példa: „Több vállalat publikál kutatásokat az AI márka láthatóságáról, köztük az X Márka is.”

Szűkített lista

A márka szerepel a felhasználó által megfontolható opciók között, de a válasz nem jelzi egyértelműen a preferenciát vagy az illeszkedést.

Példa: „Összehasonlíthatná az X Márkát, az Y Márkát és a Z Márkát, mielőtt kiválaszt egy szolgáltatót.”

A szűkített lista hasznos lehet. Azt jelzi, hogy a rendszer behozta a márkát egy döntési halmazba. De nem szabad automatikusan ajánlásként besorolni.

Ajánlás

A válasz a márkát megfelelőnek mutatja be egy meghatározott igényre, közönségre vagy felhasználási esetre.

Példa: „Az X Márka ésszerű opció azoknak a szervezeteknek, amelyeknek negyedéves monitorozásra van szükségük több AI platformon keresztül.”

Elsődleges ajánlás

A válasz kiemelkedőbb pozíciót ad a márkának, mint más opcióknak, vagy kifejezetten a preferált választásként mutatja be a megadott feltételek mellett.

Példa: „Ehhez a felhasználási esethez az X Márkával kezdeném, mert támogatja a forgatókönyv alapú elemzést és megőrzi az alapul szolgáló válaszokat.”

Nem minden kutatási tervhez van szükség mind a négy kategóriára. Egy kisebb tanulmány csak említést és ajánlást használhat. De a besorolási szabályt az eredmények áttekintése előtt el kell dönteni, különösen, ha a tanulmányt idővel megismétlik.

Ellenkező esetben az ajánlási arányban bekövetkező változás a válaszok változása helyett egy megváltozott értelmezést tükrözhet.

Az ajánlás mindig kontextuális

Nincs olyan univerzális ajánlási arány, amely tartósan egy márkához tartozna.

Egy márkát gyakran ajánlhatnak egy közönségnek, és ritkán egy másiknak. Megjelenhet széles kategóriájú kérdésekben, de eltűnhet, ha a felhasználó hozzáad egy piacot, költségvetést, technikai követelményt vagy helyszínt. Megnevezhetik a tudatosság szakaszában lévő forgatókönyvekben, míg a versenytársak erősebb ajánlásokat kapnak az összehasonlítás vagy döntési szakaszban lévő forgatókönyvekben.

Vegyük figyelembe ezeket a kérdéseket:

1. „Milyen eszközök segíthetnek egy marketingcsapatnak megérteni, hogyan írják le az AI rendszerek a márkáját?”

2. „Melyik megoldás alkalmas egy kommunikációs ügynökség számára, amely ismételhető AI márka tanulmányokat futtat több ügyfél számára?”

3. „Mi a legolcsóbb módja annak, hogy ellenőrizzem, említette-e a ChatGPT a cégemet?”

4. „Mely platformok képesek monitorozni a közösségi média beszélgetéseket egy fogyasztói márkáról?”

Kapcsolódnak egymáshoz, de nem ugyanazt a megoldást kérik. Egy forgatókönyvben adott ajánlás nem vihető át automatikusan egy másikra.

Ezért kezdődik egy védhető tanulmány forgatókönyvekkel, nem pedig egy preferált válasszal. A forgatókönyvnek reális felhasználói igényt, releváns korlátokat és a vizsgált döntési szakaszt kell leírnia. Nem szabad csupán azért megírni, hogy lehetőséget teremtsen a kutatott márka megjelenésére.

Egy jól megtervezett panel tartalmazhat kategória felfedezést, problémafelismerést, szolgáltató összehasonlítást, specifikus felhasználási eseteket és kérdéseket meghatározott közönségek számára. Az így kapott adatok nemcsak azt mutathatják meg, hogy a márka megjelenik-e, hanem azt is, hogy milyen körülmények között kezelik relevánsnak.

Promptált és spontán ajánlások

A promptált és spontán jelenlét közötti különbség az ajánlásokra is vonatkozik.

Promptált ajánlás akkor történik, amikor a felhasználó megnevezi a márkát a kérdésben:

„Jó választás az X Márka az AI láthatóság monitorozására?”

A válasz ajánlhatja a márkát, elutasíthatja, vagy leírhatja annak erősségeit és korlátait. Ez hasznos lehet annak tesztelésére, hogy a rendszer hogyan értékeli egy ismert opciót. Nem mutatja meg, hogy a márkát felfedeznék-e előzetes tudatosság nélkül.

Spontán ajánlás akkor történik, amikor a márka bekerül a válaszba, annak ellenére, hogy a felhasználó nem nevezte meg:

„Milyen eszközöket vegyen figyelembe egy marketingcsapat, ha azt szeretné kutatni, hogyan képviselik az AI rendszerek a márkáját?”

Ez általában erősebb jel a márkanevet nem tartalmazó felfedezhetőségre. Maga a rendszer választotta ki a márkát a beillesztésre. Ennek ellenére az eredményt gondosan kell olvasni. Az ajánlás függhet a megfogalmazástól, a nyelvtől, a piactól, a rendszertől, az aktuális webes hozzáféréstől vagy más kutatási feltételektől.

A nyelvi modell értékelésével kapcsolatos kutatások ismételten kimutatták, hogy a prompt megfogalmazásában bekövetkező látszólag apró változások is befolyásolhatják a kimeneteket. Ez az egyik oka annak, hogy egy tanulmány nem kezelhet egyetlen kényelmes kérdést egy platform viselkedésének teljes képként. Az „State of What Art? A Call for Multi-Prompt LLM Evaluation” című cikk hasznos háttérinformációkat nyújt: nem kifejezetten márka kutatásról szól, de bemutatja, miért vezethet egyetlen prompt megfogalmazás túlzottan magabiztos következtetésekhez.

Mi számítson ajánlásnak?

Egy mérési keretrendszernek világos szabályra van szüksége. A pontos besorolás tanulmányonként változhat, de a szabálynak explicitnek és következetesen alkalmazottnak kell lennie.

Egy válasz ajánlásként besorolható, ha mindkét feltételnek megfelel:

1. azonosítja a márkát, mint a felhasználó igénye, helyzete vagy kritériumai szempontjából releváns opciót; és

2. kifejezi az alkalmasságot, preferenciát, illeszkedést vagy egyértelmű felhívást a márka megfontolására.

Az ajánlásra utaló jelek közé tartozhatnak az olyan kifejezések, mint:

• „fontolja meg az X Márkát”;

• „az X Márka jól illeszkedik a…”;

• „az X Márka megfelelő lehet, ha…”;

• „az X Márkát választanám, amikor…”;

• „az X Márka az egyik jobb opció a…”;

• „kezdje az X Márkával, ha a prioritása a…”.

Önmagában a megfogalmazás nem mindig elegendő. „Megfontolhatja az X Márkát” gyenge szűkített lista lehet, ha a válasz nem ad okot a relevanciára. Ezzel szemben egy válasz tartalmazhat érdemi ajánlást anélkül, hogy az „ajánl” szót használná.

Ezért a besorolásnak a teljes választ kell figyelembe vennie, nem pedig egy elszigetelt kifejezést. Egy rendszer először felsorolhat több márkát, majd elmagyarázhatja, melyik felel meg a megadott követelménynek. Feltételesen is ajánlhat egy márkát, miközben megjegyzi egy fontos korlátozást. Mind a pozitív illeszkedést, mind a figyelmeztetést meg kell őrizni a bizonyítékokban.

Mi ne számítson ajánlásnak?

A következő helyzeteket általában külön kell kezelni az ajánlásoktól:

• a márkát csupán egy listában nevezik meg, anélkül, hogy az illeszkedésre utalnának;

• a márkát forrásként idézik;

• a válasz ténybeli leírást ad a márkáról, miután a felhasználó megnevezte azt;

• a márka versenytársként vagy összehasonlítási pontként jelenik meg;

• a rendszer azt mondja, hogy a márka nem alkalmas a megadott igényre;

• a terméket megnevezik, de helytelenül tulajdonítják a márkának;

• a márka azért szerepel, mert a prompt megkövetelte az összes ismert szolgáltató felsorolását;

• a válasz túl homályos ahhoz, hogy megállapítható legyen, a rendszer relevánsnak mutatja-e be a márkát.

Az utolsó kategória fontosabb, mint amilyennek tűnhet. Az AI válaszok gyakran tömörített nyelvet használnak, különösen táblázatokban és rövid listákban. Ha egy kutató nem tudja megállapítani, hogy az alkalmasságra utalnak-e, a rekordot kétértelműnek kell jelölni, vagy dokumentált szabály szerint felül kell vizsgálni. Minden válasz bináris besorolásba kényszerítése félrevezető pontosságot eredményezhet.

Miért létezhet magas említési arány alacsony ajánlási arány mellett?

Egy márka gyakran megjelenhet, mégis kevés ajánlást kaphat több okból is.

Lehet, hogy széles körben ismert, de csak egy szűk termékkel vagy közönséggel kapcsolatos. Lehet, hogy főként promptált lekérdezésekben említik. Lehet, hogy referenciaként használják, nem pedig választási lehetőségként. Megjelenhet széles információs forgatókönyvekben, de nem döntésorientáltakban. Említhetik versenytársak mellett is anélkül, hogy a felhasználó igényeinek megfelelőnek mutatnák be.

A fordítottja is lehetséges. Egy specializált márkának szerény lehet az általános említési aránya, de erős ajánlási aránya egy kis, rendkívül releváns forgatókönyvcsoporton belül. Ez hasznosabb lehet, mint a széles körű láthatóság, ha ezek a forgatókönyvek valós kereskedelmi lehetőséggel járnak.

Egyik eredmény sem érthető meg egyetlen százalékos értékből.

Egy praktikus jelentésnek ezért legalább a következőket kell tartalmaznia:

• a jogosult válaszok száma;

• az érvényes említések száma és aránya;

• az ajánlások száma és aránya;

• a promptált és spontán megfigyelések megoszlása;

• forgatókönyv szintű eredmények;

• rendszer szintű eredmények;

• a teljes válaszok vagy releváns bizonyíték kivonatok;

• a számlálási és besorolási szabályok.

Egy meghatározott tanulmányhoz az alapvető számítások egyszerűek:

Említési arány = érvényes említést tartalmazó jogosult válaszok ÷ összes jogosult válasz × 100%

Ajánlási arány = érvényes ajánlást tartalmazó jogosult válaszok ÷ összes jogosult válasz × 100%

Ezeket az arányokat nem szabad úgy bemutatni, mint annak valószínűségét, hogy bármely felhasználó látni vagy kapni fog egy ajánlást. Ezek a mintában megfigyelt arányt írják le: kiválasztott forgatókönyvek, rendszerek, nyelv, piac, dátum és kutatási feltételek.

Egy ajánlás még mindig pontatlan lehet

Az ajánlás nem a pozitív reprezentáció szinonimája.

Egy AI rendszer ajánlhat egy márkát olyan képesség alapján, amelyet már nem kínál. Összetéveszthet két hasonló nevű entitást, helytelenül tulajdoníthat egy terméket a rossz cégnek, vagy kihagyhat egy korlátozást, amely döntő a felhasználó számára. Ajánlhat egy szolgáltatót is, miközben figyelmen kívül hagyja a jobban illeszkedő alternatívákat.

Itt kapcsolódik az ajánlásmérés a márka reprezentációjának tágabb kérdéséhez a nagy nyelvi modellekben. A jelenlét és az ajánlás megfigyelhető események, de a reprezentáció minősége további ellenőrzéseket igényel: ténybeli pontosság, kategória illeszkedés, termék tulajdonítás, közönség illeszkedés, versenytárs kontextus, források és keretezés.

Ezért egy ajánlást kontextusban kell áttekinteni, nem pedig automatikusan sikerként ünnepelni.

Ugyanez az elv vonatkozik a márka hallucinációkra is. Ha egy AI rendszer ajánl egy vállalatot, mert kitalált egy terméket, helyszínt, tanúsítványt vagy partnerséget, a válasz tartalmaz egy ajánlási eseményt, de egy ténybeli problémát is. Ezeknek a megfigyeléseknek megkülönböztethetőnek kell maradniuk a kutatási nyilvántartásban, ahelyett, hogy egyetlen pozitív eredménnyé olvadnának össze.

Hogyan mérjük az említést és az ajánlást idővel?

Az ismételt kutatás feltárhatja, hogy egy márka megfigyelt jelenléte vagy ajánlási mintája változik-e. De csak akkor, ha a tanulmány összehasonlító magja stabil marad.

Ugyanazokat az entitásokat, forgatókönyv logikát, közönségeket, piacokat, rendszereket és besorolási szabályokat kell megtartani, ahol lehetséges. A panel változtatásai még mindig szükségesek lehetnek, ahogy egy vállalkozás fejlődik, de ezeket dokumentálni kell, és külön kell kezelni a tanulmány rögzített részétől.

Ez a különbség az egyszeri megfigyelés és az LLM márkafigyelés között. A monitorozás összehasonlítható kutatási időszakokat hasonlít össze. Nem azt jelenti, hogy alkalmanként megkérdezünk egy chatbotot, hogy szereti-e a márkát.

Amikor egy ajánlási arány változik, az első kérdéseknek leíró jellegűeknek kell lenniük:

• Mely forgatókönyvek okozták a változást?

• A mozgás több rendszerben is látható volt, vagy csak egyben?

• A spontán ajánlások változtak, a promptált ajánlások változtak, vagy mindkettő?

• A márka elsődleges ajánlássá vált, vagy csupán több szűkített listára került?

• Az ajánlások ténybeli szempontból pontosak voltak?

• Mi történt a versenytársakkal?

• A kutatási feltételek összehasonlíthatóak maradtak?

Csak ezután dönthet egy csapat arról, hogy az eredmény valószínűleg értelmes-e, további tesztelést igényel-e, vagy egyszerűen a normális válaszvariációt tükrözi.

Egy egyszerű modell az AI válaszok olvasásához

Egy hasznos sorrend a következő:

Entitás → forgatókönyv → válasz → besorolás → bizonyíték

Először is, határozza meg az entitást: hivatalos márkanevek, változatok, termékek és kapcsolatok, amelyek lehetővé teszik az érvényes azonosítást.

Másodszor, határozza meg a forgatókönyvet: ki kérdez, mire van szüksége, a döntés melyik szakaszában van, és mely korlátok számítanak.

Harmadszor, őrizze meg a választ, nem csak egy pontszámot vagy egy igen/nem címkét.

Negyedszer, osztályozza a megfigyelést: nincs érvényes említés, említés, szűkített lista, ajánlás, elsődleges ajánlás, negatív ajánlás vagy kétértelmű eredmény.

Végül, őrizze meg a besorolás későbbi felülvizsgálatához szükséges bizonyítékokat: teljes válasz, platform, dátum, nyelv, látható források (ha rendelkezésre állnak) és minden releváns figyelmeztetés.

Ez nem távolítja el az értelmezést a folyamatból. Felülvizsgálhatóvá teszi az értelmezést. Megakadályozza azt is, hogy egy kedvezőnek tűnő említési arányt tévedésből úgy értelmezzenek, mint bizonyítékot arra, hogy az AI rendszerek aktívan irányítják a releváns felhasználókat a márka felé.

Amit ez a megkülönböztetés nem jelent

Az említések és az ajánlások elkülönítése nem jelenti azt, hogy minden említés ajánlás nélkül lényegtelen. Az elismerés, a forrás jelenléte, a kategória beillesztése és a versenytársak együttes előfordulása mind hasznos megfigyelések lehetnek, ha egy meghatározott kutatási kérdésre válaszolnak.

Azt sem jelenti, hogy az ajánlási arány előrejelzi az eladásokat, a preferenciát vagy az ügyfél viselkedését. Az AI-generált válaszok nem reprezentatív mintát képeznek a piaci keresletről, és megfogalmazásuk rendszerek és idő szerint változhat. Egy ajánlás bizonyíték arra, amit egy kiválasztott rendszer generált egy kiválasztott forgatókönyvben – sem több, sem kevesebb.

A legfontosabb, hogy a magasabb ajánlási arány nem automatikusan a cél. A releváns kérdés az, hogy a márkát pontosan ajánlják-e, azokban a forgatókönyvekben, ahol valóban helye van, azoknak a közönségeknek, amelyeket szolgálni tud, és a hitelesített információkkal összhangban lévő reprezentációval.

Ezért kell az említést és az ajánlást külön mérni. Az egyik azt mondja el, hogy a márka bekerült a válaszba. A másik azt mondja el, hogy a rendszer releváns opcióként mutatta be. Ezek összekeverése vonzóbb metrikát eredményezhet, de megszünteti azt a különbséget, amely ahhoz szükséges, hogy megértsük, mit is mondanak valójában az AI rendszerek.

Ha szeretné megvizsgálni ezeket a megfigyeléseket meghatározott forgatókönyvekben és AI rendszerekben, hozzon létre egy Semantio fiókot, és kezdje egy alapfelméréssel.