Zīmola pieminēšana pret ieteikumu AI atbildēs

Zīmola parādīšanās AI ģenerētā atbildē ne vienmēr nozīmē, ka sistēma to iesaka.

Šo atšķirību ir viegli nepamanīt, īpaši, ja informācijas panelis ziņo par vienu redzamības rādītāju vai pētījums tiek reducēts uz zīmolu nosaukumu sarakstu. Uzņēmums var tikt nosaukts kā piemērs, citēts kā avots, salīdzināts ar konkurentiem, aprakstīts kā nepiemērots konkrētam lietošanas gadījumam vai iekļauts tikai tāpēc, ka lietotājs to pieminēja jautājumā. Neviens no šiem novērojumiem nav līdzvērtīgs ieteikumam.

Komandām, kas uzrauga zīmola attēlojumu AI sistēmās, šai atšķirībai ir nozīme. Pieminēšana nodrošina klātbūtni. Ieteikums norāda, ka sistēma ir saistījusi zīmolu ar lietotāja vajadzību, lēmuma kontekstu vai atlases kritērijiem. Tie ir saistīti, bet atsevišķi notikumi, un tie ir jāizmēra atsevišķi.

Kā paskaidrots mūsu ceļvedī par AI zīmola redzamību, redzamība ir zīmola, produkta, domēna vai saistītas entītijas novērojamā klātbūtne noteiktā AI ģenerētu atbilžu kopā. Ieteikums ir viena no iespējamām šīs klātbūtnes formām. Tā nav tās noklusējuma nozīme.

Kas ir zīmola pieminēšana AI atbildē?

Zīmola pieminēšana notiek, kad AI sistēma atsaucas uz zīmolu, uzņēmumu, produktu, pakalpojumu, domēnu vai citu definētu entītiju, kas saistīta ar zīmolu.

Definīcija var šķist vienkārša, taču noderīgam pētījumam ir nepieciešams precīzāks noteikums. Atsauce būtu jāskaita tikai tad, ja atbilde pietiekami precīzi identificē paredzēto entītiju, lai novērojums būtu jēgpilns. Līdzīgs uzņēmuma nosaukums, nepareizi piešķirts produkts vai sajaukta meitasuzņēmums nedrīkst automātiski tikt uzskatīts par derīgu pieminēšanu.

Piemēram, AI atbilde var pieminēt uzņēmumu vairākos dažādos veidos:

• kā pakalpojumu sniedzēju kategoriju sarakstā;

• kā piemēru, ko izmanto, lai izskaidrotu tēmu;

• kā cita zīmola konkurentu;

• kā citēta avota izdevēju;

• kā uzņēmumu, kas saistīts ar pagātnes notikumu vai strīdu;

• kā iespēju, no kuras lietotājam vajadzētu izvairīties;

• tāpēc, ka uzvednē tieši nosaukts zīmols;

• kā produktu, skaidri nesaistot to ar tā mātes zīmolu.

Visi šie piemēri var parādīt, ka entītija ir atbildē. Tomēr tie neparāda to pašu par atklājamību, piemērotību vai preferenci.

Praktiska darbības definīcija ir:

Derīga zīmola pieminēšana ir pareizi identificēta atsauce uz definētu zīmola entītiju atbilstošā AI ģenerētā atbildē.

Vārdi pareizi identificēta un atbilstošā ir svarīgi. Atbilde var saturēt pareizo nosaukumu, bet joprojām atsaukties uz citu organizāciju. Tā var arī saturēt zīmolu, jo jautājums to skaidri pieprasīja, kas ir vērtīgi atpazīstamības testēšanai, bet daudz mazāk informatīvi par neatpazīstamu atklāšanu.

Ne katrai pieminēšanai ir tāda pati nozīme

Viens pieminēšanas rādītājs var slēpt svarīgas atšķirības. Apsveriet šādas atbildes uz jautājumu par programmatūru, kas uzrauga, kā AI sistēmas apraksta zīmolu.

Būtība nav tāda, ka viena pieminēšanas kategorija vienmēr ir vērtīgāka par citu. Pareiza interpretācija ir atkarīga no pētījuma mērķa. Atsauce tikai uz avotu var būt svarīga izdevējam, kas meklē pierādījumus, ka tā domēns nonāk AI sistēmas avotu vidē. Veicināta pieminēšana var būt svarīga, ja uzņēmums vēlas pārbaudīt entītijas atpazīstamību vai faktisko precizitāti. Spontāna pieminēšana ir svarīgāka, ja jautājums attiecas uz atklāšanu bez zīmola nosaukuma uzvednē.

Kļūda ir katra gadījuma uzskatīšana par pierādījumu, ka AI sistēma ir izvēlējusies vai apstiprinājusi zīmolu.

Kas ir ieteikums?

Ieteikums notiek, kad AI atbilde prezentē zīmolu kā piemērotu iespēju lietotāja norādītajai vai pamatoti secinātai vajadzībai, lietošanas gadījumam, ierobežojumiem vai lēmuma kritērijiem.

Ieteikums var būt tiešs:

“Vidēja lieluma mārketinga komandai, kurai ir jāuzrauga zīmola pieminēšanas un ieteikumi vairākās AI sistēmās, apsveriet Semantio.”

Tas var būt arī nosacīts:

“Ja jūsu prioritāte ir atkārtoti pētījumi, izmantojot fiksētu scenāriju paneli, Semantio var būt piemērota iespēja.”

Vai salīdzinošs:

“Starp uzskaitītajiem rīkiem Semantio ir piemērotāks komandām, kurām ir jāanalizē pilnas AI atbildes, nevis jāseko vienam virsraksta rādītājam.”

Katrā gadījumā sistēma pārsniedz zīmola nosaukšanu. Tā saista zīmolu ar atlases kontekstu un norāda zināmu piemērotības pakāpi.

Tas nenozīmē, ka ieteikums ir obligāti pareizs, godīgs vai balstīts uz pilnīgu informāciju. AI sistēmas var sniegt nepamatotus ieteikumus, nepamanīt attiecīgos konkurentus, izmantot novecojušu informāciju vai secināt iespējas, ko zīmols nepiedāvā. Fakts, ka sistēma iesaka zīmolu, ir novērojums par ģenerēto atbildi. Tas nav neatkarīgs produkta kvalitātes vai tirgus pārākuma pierādījums.

Tas ir viens no iemesliem, kāpēc ieteikumu datiem jāpaliek saistītiem ar pilnu atbildi, scenāriju, sistēmu un novērojuma datumu. Ieteikumu bez konteksta ir grūti auditēt.

Noderīga atšķirība: pieminēšana, iekļaušana īsajā sarakstā un ieteikums

Praksē ir noderīgi atdalīt vismaz četrus zīmola klātbūtnes līmeņus.

Pieminēšana

Zīmols ir klāt atbildē. Netiek norādīta preference vai piemērotība.

Piemērs: “Vairāki uzņēmumi publicē pētījumus par AI zīmola redzamību, tostarp Zīmols X.”

Iekļaušana īsajā sarakstā

Zīmols ir iekļauts starp iespējām, ko lietotājs var apsvērt, taču atbilde skaidri nenorāda preferenci vai atbilstību.

Piemērs: “Pirms pakalpojumu sniedzēja izvēles varat salīdzināt Zīmolu X, Zīmolu Y un Zīmolu Z.”

Iekļaušana īsajā sarakstā var būt vērtīga. Tā norāda, ka sistēma ir ieviesusi zīmolu lēmumu kopā. Taču to nevajadzētu automātiski klasificēt kā ieteikumu.

Ieteikums

Atbilde prezentē zīmolu kā piemērotu noteiktai vajadzībai, auditorijai vai lietošanas gadījumam.

Piemērs: “Zīmols X ir saprātīga iespēja organizācijām, kurām ir nepieciešama ceturkšņa uzraudzība vairākās AI platformās.”

Primārais ieteikums

Atbilde piešķir zīmolam prominentāku pozīciju nekā citas iespējas vai skaidri prezentē to kā vēlamo izvēli norādītajos apstākļos.

Piemērs: “Šim lietošanas gadījumam es sāktu ar Zīmolu X, jo tas atbalsta scenāriju analīzi un saglabā pamatā esošās atbildes.”

Ne katram pētījuma dizainam ir nepieciešamas visas četras kategorijas. Mazāks pētījums var izmantot tikai pieminēšanu un ieteikumu. Taču klasifikācijas noteikums ir jāizlemj pirms rezultātu pārskatīšanas, īpaši, ja pētījums tiks atkārtots laika gaitā.

Pretējā gadījumā ziņotā ieteikumu rādītāja izmaiņas var atspoguļot mainītu interpretāciju, nevis izmaiņas pašās atbildēs.

Ieteikums vienmēr ir kontekstuāls

Nav universāla ieteikumu rādītāja, kas pastāvīgi piederētu zīmolam.

Zīmols var tikt bieži ieteikts vienai auditorijai un reti citai. Tas var parādīties plašos kategoriju jautājumos, bet pazust, kad lietotājs pievieno tirgu, budžetu, tehniskās prasības vai atrašanās vietu. Tas var tikt nosaukts apzināšanās posma scenārijos, kamēr konkurenti saņem spēcīgākus ieteikumus salīdzināšanas vai lēmumu pieņemšanas posma scenārijos.

Apsveriet šos jautājumus:

1. “Kādi rīki var palīdzēt mārketinga komandai saprast, kā AI sistēmas apraksta tās zīmolu?”

2. “Kāds risinājums ir piemērots komunikācijas aģentūrai, kas veic atkārtojamus AI zīmola pētījumus vairākiem klientiem?”

3. “Kāds ir lētākais veids, kā pārbaudīt, vai ChatGPT ir pieminējis manu uzņēmumu?”

4. “Kuras platformas var uzraudzīt sociālo mediju sarunas par patērētāju zīmolu?”

Tie ir saistīti, taču tie neprasa vienu un to pašu risinājumu. Ieteikumu vienā scenārijā nevar automātiski pārnest uz citu.

Tāpēc aizstāvams pētījums sākas ar scenārijiem, nevis ar vēlamo atbildi. Scenārijam jāapraksta reāla lietotāja vajadzība, attiecīgie ierobežojumi un lēmuma posms, kas tiek pētīts. Tas nedrīkst būt rakstīts tikai, lai radītu iespēju pētītajam zīmolam parādīties.

Labi izstrādāts panelis var ietvert kategoriju atklāšanu, problēmu atpazīstamību, pakalpojumu sniedzēju salīdzināšanu, specifiskus lietošanas gadījumus un jautājumus noteiktām auditorijām. Iegūtie dati var parādīt ne tikai to, vai zīmols parādās, bet arī kādos apstākļos tas tiek uzskatīts par atbilstošu.

Veicināti un spontāni ieteikumi

Atšķirība starp veicinātu un spontānu klātbūtni attiecas arī uz ieteikumiem.

Veicināts ieteikums notiek, kad lietotājs jautājumā nosauc zīmolu:

“Vai Zīmols X ir laba izvēle AI redzamības uzraudzībai?”

Atbilde var ieteikt zīmolu, to noraidīt vai aprakstīt tā stiprās puses un ierobežojumus. Tas var būt noderīgi, lai pārbaudītu, kā sistēma novērtē zināmu iespēju. Tas neparāda, vai zīmols tiktu atklāts bez iepriekšējas apzināšanās.

Spontāns ieteikums notiek, kad zīmols nonāk atbildē, lai gan lietotājs to nenosauca:

“Kādus rīkus mārketinga komandai vajadzētu apsvērt, ja tā vēlas pētīt, kā AI sistēmas attēlo tās zīmolu?”

Tas parasti ir spēcīgāks neatpazīstamas atklājamības signāls. Pati sistēma ir izvēlējusies zīmolu iekļaušanai. Tomēr rezultāts ir rūpīgi jālasa. Ieteikums var būt atkarīgs no formulējuma, valodas, tirgus, sistēmas, pašreizējās tīmekļa piekļuves vai citiem pētījuma nosacījumiem.

Valodu modeļu novērtēšanas pētījumi atkārtoti ir parādījuši, ka šķietami nelielas izmaiņas uzvednes formulējumā var ietekmēt izvades. Tas ir viens no iemesliem, kāpēc pētījumā nevajadzētu uzskatīt vienu ērtu jautājumu par pilnīgu platformas uzvedības attēlu. Raksts State of What Art? A Call for Multi-Prompt LLM Evaluation ir noderīgs fons: tas neattiecas uz zīmola pētījumiem, bet tas demonstrē, kāpēc viens uzvednes formulējums var radīt pārlieku pārliecinātus secinājumus.

Kas būtu jāuzskata par ieteikumu?

Mērīšanas sistēmai ir nepieciešams skaidrs noteikums. Precīza klasifikācija var atšķirties atkarībā no pētījuma, taču noteikumam jābūt skaidram un konsekventi piemērotam.

Atbildi var klasificēt kā ieteikumu, ja tā atbilst abiem nosacījumiem:

1. tā identificē zīmolu kā iespēju, kas atbilst lietotāja vajadzībai, situācijai vai kritērijiem; un

2. tā izsaka piemērotību, preferenci, atbilstību vai skaidru aicinājumu apsvērt zīmolu.

Ieteikuma signāli var ietvert frāzes, piemēram:

• “apsveriet Zīmolu X”;

• “Zīmols X ir piemērots…”;

• “Zīmols X var būt piemērots, ja…”;

• “Es izvēlētos Zīmolu X, kad…”;

• “Zīmols X ir viena no labākajām iespējām…”;

• “sāciet ar Zīmolu X, ja jūsu prioritāte ir…”.

Tikai formulējums ne vienmēr ir pietiekams. “Jūs varat apsvērt Zīmolu X” var būt vāja iekļaušana īsajā sarakstā, ja atbilde nesniedz iemeslu atbilstībai. Savukārt atbilde var saturēt būtisku ieteikumu, neizmantojot vārdu ieteikt.

Šī iemesla dēļ klasifikācijā jāņem vērā visa atbilde, nevis izolēta frāze. Sistēma vispirms var uzskaitīt vairākus zīmolus, pēc tam paskaidrot, kurš no tiem atbilst norādītajai prasībai. Tā var arī ieteikt zīmolu nosacīti, vienlaikus atzīmējot svarīgu ierobežojumu. Gan pozitīvā atbilstība, gan brīdinājums ir jāsaglabā pierādījumos.

Kas nebūtu jāuzskata par ieteikumu?

Šādas situācijas parasti būtu jānošķir no ieteikumiem:

• zīmols ir tikai nosaukts sarakstā bez jebkādas norādes par atbilstību;

• zīmols tiek citēts kā avots;

• atbilde faktiski apraksta zīmolu pēc tam, kad lietotājs to nosauca;

• zīmols parādās kā konkurents vai salīdzināšanas punkts;

• sistēma saka, ka zīmols nav piemērots norādītajai vajadzībai;

• produkts ir nosaukts, bet nepareizi piešķirts zīmolam;

• zīmols ir iekļauts, jo uzvedne pieprasīja uzskaitīt visus zināmos pakalpojumu sniedzējus;

• atbilde ir pārāk neskaidra, lai noteiktu, vai sistēma prezentē zīmolu kā atbilstošu.

Pēdējā kategorija ir svarīgāka, nekā varētu šķist. AI atbildes bieži izmanto saspiestu valodu, īpaši tabulās un īsos sarakstos. Ja pētnieks nevar noteikt, vai tiek norādīta piemērotība, ieraksts jāatzīmē kā neskaidrs vai jāpārskata saskaņā ar dokumentētu noteikumu. Katras atbildes piespiešana binārai klasifikācijai var radīt maldinošu precizitātes līmeni.

Kāpēc augsts pieminēšanas rādītājs var pastāvēt līdzās zemam ieteikumu rādītājam

Zīmols var parādīties bieži, taču saņemt maz ieteikumu vairāku iemeslu dēļ.

Tas var būt plaši atpazīstams, bet saistīts tikai ar šauru produktu vai auditoriju. Tas var tikt pieminēts galvenokārt veicinātos vaicājumos. Tas var tikt izmantots kā atsauces avots, nevis kā izvēles iespēja. Tas var parādīties plašos informatīvos scenārijos, bet ne uz lēmumiem orientētos. Tas var arī tikt pieminēts līdzās konkurentiem, netiekot prezentēts kā piemērots lietotāja vajadzībai.

Iespējams arī pretējais. Specializētam zīmolam var būt pieticīgs kopējais pieminēšanas rādītājs, bet spēcīgs ieteikumu rādītājs nelielā ļoti atbilstošu scenāriju grupā. Tas var būt noderīgāk nekā plaša redzamība, ja šie scenāriji atbilst reālai komerciālai iespējai.

Nevienu rezultātu nevar saprast tikai no viena procenta.

Praktiskā ziņojumā tāpēc jāparāda vismaz:

• atbilstošo atbilžu skaits;

• derīgo pieminēšanu skaits un rādītājs;

• ieteikumu skaits un rādītājs;

• sadalījums starp veicinātiem un spontāniem novērojumiem;

• scenāriju līmeņa rezultāti;

• sistēmas līmeņa rezultāti;

• pilnas atbildes vai attiecīgie pierādījumu izvilkumi;

• skaitīšanas un klasifikācijas noteikumi.

Noteiktam pētījumam pamata aprēķini ir vienkārši:

Pieminēšanas rādītājs = atbilstošās atbildes, kas satur derīgu pieminēšanu ÷ visas atbilstošās atbildes × 100%

Ieteikumu rādītājs = atbilstošās atbildes, kas satur derīgu ieteikumu ÷ visas atbilstošās atbildes × 100%

Šie rādītāji nedrīkst tikt prezentēti kā varbūtības, ka jebkurš lietotājs redzēs vai saņems ieteikumu. Tie apraksta novēroto proporciju konkrētajā paraugā: izvēlētie scenāriji, sistēmas, valoda, tirgus, datums un pētījuma nosacījumi.

Ieteikums joprojām var būt neprecīzs

Ieteikums nav pozitīvas attēlošanas sinonīms.

AI sistēma var ieteikt zīmolu, pamatojoties uz iespēju, ko tā vairs nepiedāvā. Tā var sajaukt divas entītijas ar līdzīgiem nosaukumiem, piešķirt produktu nepareizam uzņēmumam vai izlaist ierobežojumu, kas ir izšķirošs lietotājam. Tā var arī ieteikt vienu pakalpojumu sniedzēju, ignorējot labāk piemērotas alternatīvas.

Šeit ieteikumu mērīšana savienojas ar plašāku jautājumu par zīmola attēlojumu lielos valodu modeļos. Klātbūtne un ieteikums ir novērojami notikumi, taču attēlojuma kvalitātei ir nepieciešamas papildu pārbaudes: faktu precizitāte, kategorijas atbilstība, produkta piešķiršana, auditorijas atbilstība, konkurentu konteksts, avoti un ietvars.

Tāpēc ieteikums jāpārskata kā atbilde kontekstā, nevis automātiski jāsvin kā panākums.

Tas pats princips attiecas uz zīmola halucinācijām. Ja AI sistēma iesaka uzņēmumu, jo tā ir izgudrojusi produktu, atrašanās vietu, sertifikāciju vai partnerību, atbilde satur ieteikuma notikumu, bet arī faktisku problēmu. Šiem novērojumiem jāpaliek atšķirīgiem pētījuma ierakstā, nevis jāapvieno vienā pozitīvā rezultātā.

Kā laika gaitā izmērīt pieminēšanu un ieteikumu

Atkārtoti pētījumi var atklāt, vai zīmola novērotā klātbūtne vai ieteikumu modelis mainās. Bet tikai tad, ja pētījuma salīdzinošā kodols paliek stabils.

Iespēju robežās jāsaglabā tās pašas entītijas, scenāriju loģika, auditorijas, tirgi, sistēmas un klasifikācijas noteikumi. Paneļa izmaiņas joprojām var būt nepieciešamas, uzņēmumam attīstoties, taču tās ir jādokumentē un jāapstrādā atsevišķi no fiksētās pētījuma daļas.

Tā ir atšķirība starp vienreizēju novērojumu un LLM zīmola uzraudzību. Uzraudzība salīdzina salīdzināmus pētījumu periodus. Tas nenozīmē, ka ik pa laikam jājautā tērzēšanas robotam, vai tam patīk zīmols.

Kad mainās ieteikumu rādītājs, pirmie jautājumi ir aprakstoši:

• Kuri scenāriji radīja izmaiņas?

• Vai kustība bija redzama vairākās sistēmās vai tikai vienā?

• Vai mainījās spontāni ieteikumi, veicināti ieteikumi vai abi?

• Vai zīmols kļuva par primāro ieteikumu vai tikai iekļuva vairāk īsajos sarakstos?

• Vai ieteikumi bija faktiski precīzi?

• Kas notika ar konkurentu kopumu?

• Vai pētījuma nosacījumi palika salīdzināmi?

Tikai tad komanda var izlemt, vai rezultāts, visticamāk, ir jēgpilns, prasa papildu pārbaudi vai vienkārši atspoguļo normālas atbildes variācijas.

Vienkāršs modelis AI atbilžu lasīšanai

Noderīga secība ir:

Entītija → scenārijs → atbilde → klasifikācija → pierādījumi

Pirmkārt, definējiet entītiju: oficiālos zīmolu nosaukumus, variantus, produktus un attiecības, kas ļauj derīgi identificēt.

Otrkārt, definējiet scenāriju: kas jautā, kas viņiem ir nepieciešams, kādā lēmuma posmā viņi atrodas un kādi ierobežojumi ir svarīgi.

Treškārt, saglabājiet atbildi, nevis tikai rādītāju vai jā/nē atzīmi.

Ceturtkārt, klasificējiet novērojumu: nav derīgas pieminēšanas, pieminēšana, iekļaušana īsajā sarakstā, ieteikums, primārais ieteikums, negatīvs ieteikums vai neskaidrs rezultāts.

Visbeidzot, saglabājiet pierādījumus, kas nepieciešami klasifikācijas pārskatīšanai vēlāk: pilna atbilde, platforma, datums, valoda, redzamie avoti, ja pieejami, un visi attiecīgie brīdinājumi.

Tas neatceļ interpretāciju no procesa. Tas padara interpretāciju pārskatāmu. Tas arī novērš labvēlīgi izskatīga pieminēšanas rādītāja sajaukšanu ar pierādījumiem, ka AI sistēmas aktīvi virza attiecīgos lietotājus uz zīmolu.

Ko šī atšķirība nenozīmē

Pieminēšanu atdalīšana no ieteikumiem nenozīmē, ka katra pieminēšana bez ieteikuma ir nesvarīga. Atpazīstamība, avotu klātbūtne, kategorijas iekļaušana un konkurentu līdzās pastāvēšana var būt noderīgi novērojumi, ja tie atbild uz definētu pētījuma jautājumu.

Tas arī nenozīmē, ka ieteikumu rādītājs prognozē pārdošanas apjomus, preferences vai klientu uzvedību. AI ģenerētās atbildes nav reprezentatīvs tirgus pieprasījuma paraugs, un to formulējums var atšķirties dažādās sistēmās un laika gaitā. Ieteikums ir pierādījums tam, ko izvēlētā sistēma ģenerēja izvēlētā scenārijā – ne vairāk un ne mazāk.

Vissvarīgākais ir tas, ka augstāks ieteikumu rādītājs nav automātiski mērķis. Attiecīgais jautājums ir, vai zīmols tiek ieteikts precīzi, scenārijos, kur tas patiesi pieder, auditorijām, kuras tas var apkalpot, un ar attēlojumu, kas atbilst pārbaudītai informācijai.

Tāpēc pieminēšana un ieteikums ir jāizmēra atsevišķi. Viens mums stāsta, ka zīmols nonāca atbildē. Otrs mums stāsta, ka sistēma to prezentēja kā atbilstošu iespēju. To sajaukšana var radīt pievilcīgāku rādītāju, taču tas novērš atšķirību, kas nepieciešama, lai saprastu, ko AI sistēmas patiesībā saka.

Ja vēlaties pārbaudīt šos novērojumus dažādos scenārijos un AI sistēmās, izveidojiet Semantio kontu un sāciet ar pamata pētījumu.