Omtale vs. anbefaling i AI-svar

At en merkevare dukker opp i et AI-generert svar, betyr ikke nødvendigvis at systemet anbefaler den.

Dette skillet er lett å overse, spesielt når et dashbord rapporterer et enkelt synlighetstall eller en studie er redusert til en liste over merkenavn. Et selskap kan bli nevnt som et eksempel, sitert som en kilde, sammenlignet med konkurrenter, beskrevet som uegnet for et bestemt bruksområde, eller inkludert kun fordi brukeren nevnte det i spørsmålet. Ingen av disse observasjonene er ensbetydende med en anbefaling.

For team som overvåker merkevarens representasjon i AI-systemer, er forskjellen viktig. En omtale etablerer tilstedeværelse. En anbefaling indikerer at systemet har koblet merkevaren til et brukerbehov, en beslutningskontekst eller utvalgskriterier. Dette er relaterte, men separate hendelser, og de bør måles separat.

Som forklart i vår guide til AI-merkevaresynlighet, er synlighet den observerbare tilstedeværelsen av en merkevare, et produkt, et domene eller en relatert enhet i et definert sett av AI-genererte svar. Anbefaling er en mulig form for denne tilstedeværelsen. Det er ikke dens standardbetydning.

Hva er en merkevareomtale i et AI-svar?

En merkevareomtale oppstår når et AI-system refererer til en merkevare, et selskap, et produkt, en tjeneste, et domene eller en annen definert enhet knyttet til merkevaren.

Definisjonen kan virke enkel, men en nyttig studie krever en mer presis regel. En referanse bør kun telle når svaret identifiserer den tiltenkte enheten korrekt nok til at observasjonen er meningsfull. Et lignende firmanavn, et feilaktig tilskrevet produkt eller et forvirret datterselskap bør ikke automatisk telles som en gyldig omtale.

For eksempel kan et AI-svar nevne et selskap på flere forskjellige måter:

• som en leverandør i en kategoriliste;

• som et eksempel brukt til å forklare et emne;

• som en konkurrent til et annet merke;

• som utgiver av en sitert kilde;

• som et selskap knyttet til en tidligere hendelse eller kontrovers;

• som et alternativ brukeren bør unngå;

• fordi spørsmålet direkte nevnte merkevaren;

• som et produkt uten å tydelig koble det til dets overordnede merkevare.

Alle disse kan vise at enheten er til stede i svaret. De viser imidlertid ikke det samme om oppdagbarhet, egnethet eller preferanse.

En praktisk operasjonell definisjon er:

En gyldig merkevareomtale er en korrekt identifisert referanse til en definert merkevareenhet innenfor et kvalifisert AI-generert svar.

Ordene korrekt identifisert og kvalifisert er viktige. Et svar kan inneholde riktig navn, men likevel referere til en annen organisasjon. Det kan også inneholde merkevaren fordi spørsmålet eksplisitt krevde det, noe som er verdifullt for gjenkjenningstesting, men mye mindre informativt om umerket oppdagelse.

Ikke enhver omtale har samme betydning

En enkelt omtalefrekvens kan skjule viktige forskjeller. Vurder følgende svar på et spørsmål om programvare for å overvåke hvordan AI-systemer beskriver en merkevare.

Poenget er ikke at én kategori av omtale alltid er mer verdifull enn en annen. Riktig tolkning avhenger av forskningsformålet. En kilde-kun-referanse kan være viktig for en utgiver som søker bevis på at domenet deres kommer inn i et AI-systems kildemiljø. En fremkalt omtale kan være viktig når en bedrift ønsker å teste enhetsgjenkjenning eller faktisk nøyaktighet. En spontan omtale er mer relevant når spørsmålet gjelder oppdagelse uten et merkenavn i spørsmålet.

Feilen er å behandle hver forekomst som bevis på at AI-systemet har valgt eller godkjent merkevaren.

Hva er en anbefaling?

En anbefaling oppstår når et AI-svar presenterer en merkevare som et passende alternativ for brukerens uttalte eller rimelig antatte behov, bruksområde, begrensninger eller beslutningskriterier.

En anbefaling kan være direkte:

«For et mellomstort markedsføringsteam som trenger å overvåke merkevareomtaler og anbefalinger på tvers av flere AI-systemer, bør du vurdere Semantio.»

Den kan også være betinget:

«Hvis din prioritet er gjentatt forskning ved hjelp av et fast scenariopanel, kan Semantio være et passende alternativ.»

Eller komparativ:

«Blant de listede verktøyene er Semantio den sterkeste passformen for team som trenger å analysere fullstendige AI-svar i stedet for å spore en enkelt overskriftsscore.»

I hvert tilfelle går systemet utover å navngi merkevaren. Det kobler merkevaren til en utvalgskontekst og indikerer en viss grad av egnethet.

Det betyr ikke at anbefalingen nødvendigvis er korrekt, rettferdig eller basert på fullstendig informasjon. AI-systemer kan gi ubegrunnede anbefalinger, overse relevante konkurrenter, bruke utdatert informasjon eller anta funksjoner som en merkevare ikke tilbyr. Det faktum at et system anbefaler en merkevare er en observasjon om det genererte svaret. Det er ikke uavhengig bevis på produktkvalitet eller markedsoverlegenhet.

Dette er en grunn til at anbefalingsdata bør forbli koblet til det fullstendige svaret, scenariet, systemet og datoen for observasjonen. En anbefaling uten kontekst er vanskelig å revidere.

Et nyttig skille: omtale, inkludering på kortliste og anbefaling

I praksis hjelper det å skille mellom minst fire nivåer av merkevaretilstedeværelse.

Omtale

Merkevaren er til stede i svaret. Ingen preferanse eller egnethet er implisert.

Eksempel: «Flere selskaper publiserer forskning om AI-merkevaresynlighet, inkludert Merke X.»

Inkludering på kortliste

Merkevaren er inkludert blant alternativer som brukeren kan vurdere, men svaret indikerer ikke tydelig en preferanse eller passform.

Eksempel: «Du kan sammenligne Merke X, Merke Y og Merke Z før du velger en leverandør.»

Inkludering på kortliste kan være verdifullt. Det indikerer at systemet har brakt merkevaren inn i et beslutningssett. Men det bør ikke automatisk klassifiseres som en anbefaling.

Anbefaling

Svaret presenterer merkevaren som egnet for et definert behov, publikum eller bruksområde.

Eksempel: «Merke X er et rimelig alternativ for organisasjoner som trenger kvartalsvis overvåking på tvers av flere AI-plattformer.»

Primær anbefaling

Svaret gir merkevaren en mer fremtredende posisjon enn andre alternativer eller presenterer den eksplisitt som det foretrukne valget under de angitte forholdene.

Eksempel: «For dette bruksområdet ville jeg startet med Merke X fordi det støtter scenariebasert analyse og bevarer de underliggende svarene.»

Ikke alle forskningsdesign trenger alle fire kategorier. En mindre studie kan bruke kun omtale og anbefaling. Men klassifiseringsregelen bør bestemmes før resultatene gjennomgås, spesielt hvis studien skal gjentas over tid.

Ellers kan en endring i den rapporterte anbefalingsfrekvensen gjenspeile en endret tolkning snarere enn en endring i svarene selv.

Anbefaling er alltid kontekstuell

Det finnes ingen universell anbefalingsfrekvens som permanent tilhører en merkevare.

En merkevare kan bli anbefalt ofte for ett publikum og sjelden for et annet. Den kan dukke opp i brede kategorispørsmål, men forsvinne når brukeren legger til et marked, budsjett, teknisk krav eller sted. Den kan bli nevnt i scenarier i bevissthetsfasen, mens konkurrenter mottar sterkere anbefalinger i sammenlignings- eller beslutningsfasen.

Vurder disse spørsmålene:

1. «Hvilke verktøy kan hjelpe et markedsføringsteam med å forstå hvordan AI-systemer beskriver merkevaren deres?»

2. «Hvilken løsning er egnet for et kommunikasjonsbyrå som utfører repeterbare AI-merkevarestudier for flere kunder?»

3. «Hva er den billigste måten å sjekke om ChatGPT har nevnt selskapet mitt?»

4. «Hvilke plattformer kan overvåke sosiale medier-samtaler om en forbrukermerkevare?»

De er relaterte, men de ber ikke om den samme løsningen. En anbefaling i ett scenario kan ikke automatisk overføres til et annet.

Dette er grunnen til at en forsvarlig studie begynner med scenarier, ikke med et foretrukket svar. Scenariet bør beskrive et realistisk brukerbehov, relevante begrensninger og beslutningsfasen som undersøkes. Det bør ikke skrives bare for å skape en mulighet for at den undersøkte merkevaren skal dukke opp.

Et velutformet panel kan inkludere kategorioppdagelse, problemgjenkjenning, leverandørsammenligning, spesifikke bruksområder og spørsmål for definerte målgrupper. De resulterende dataene kan da vise ikke bare om merkevaren dukker opp, men under hvilke omstendigheter den behandles som relevant.

Fremkalte og spontane anbefalinger

Skillet mellom fremkalt og spontan tilstedeværelse gjelder også for anbefalinger.

En fremkalt anbefaling skjer når brukeren navngir merkevaren i spørsmålet:

«Er Merke X et godt valg for å overvåke AI-synlighet?»

Svaret kan anbefale merkevaren, avvise den eller beskrive dens styrker og begrensninger. Dette kan være nyttig for å teste hvordan systemet evaluerer et kjent alternativ. Det viser ikke om merkevaren ville blitt oppdaget uten tidligere bevissthet.

En spontan anbefaling skjer når merkevaren kommer inn i svaret selv om brukeren ikke navnga den:

«Hvilke verktøy bør et markedsføringsteam vurdere når det ønsker å undersøke hvordan AI-systemer representerer merkevaren deres?»

Dette er vanligvis et sterkere signal om umerket oppdagbarhet. Systemet selv har valgt merkevaren for inkludering. Likevel må resultatet leses nøye. Anbefalingen kan avhenge av ordlyden, språket, markedet, systemet, gjeldende nettilgang eller andre forskningsforhold.

Forskning på evaluering av språkmodeller har gjentatte ganger vist at tilsynelatende små endringer i spørsmålsformuleringen kan påvirke utdataene. Det er en grunn til at en studie ikke bør behandle et enkelt praktisk spørsmål som et komplett bilde av en plattforms oppførsel. Artikkelen State of What Art? A Call for Multi-Prompt LLM Evaluation er nyttig bakgrunnsinformasjon her: den omhandler ikke merkevareforskning spesifikt, men den demonstrerer hvorfor én spørsmålsformulering kan produsere overkonfidente konklusjoner.

Hva bør telle som en anbefaling?

Et målingsrammeverk trenger en klar regel. Den nøyaktige klassifiseringen kan variere fra studie til studie, men regelen bør være eksplisitt og konsekvent anvendt.

Et svar kan klassifiseres som en anbefaling når det oppfyller begge betingelsene:

1. det identifiserer merkevaren som et alternativ relevant for brukerens behov, situasjon eller kriterier; og

2. det uttrykker egnethet, preferanse, passform eller en klar invitasjon til å vurdere merkevaren.

Signaler om anbefaling kan inkludere fraser som:

• «vurder Merke X»;

• «Merke X passer godt for…»;

• «Merke X kan være egnet hvis…»;

• «Jeg ville valgt Merke X når…»;

• «Merke X er et av de bedre alternativene for…»;

• «start med Merke X hvis din prioritet er…».

Ordlyden alene er ikke alltid nok. «Du kan vurdere Merke X» kan være en svak inkludering på kortliste hvis svaret ikke gir noen grunn til relevans. Omvendt kan et svar inneholde en substansiell anbefaling uten å bruke ordet anbefale.

Av denne grunn bør klassifiseringen vurdere hele svaret snarere enn en isolert frase. Et system kan først liste opp flere merkevarer, deretter forklare hvilken som passer det spesifiserte kravet. Det kan også anbefale en merkevare betinget, samtidig som det bemerker en viktig begrensning. Både den positive passformen og forbeholdet bør bevares i bevisene.

Hva bør ikke telle som en anbefaling?

Følgende situasjoner bør vanligvis holdes atskilt fra anbefalinger:

• merkevaren er bare nevnt i en liste uten indikasjon på passform;

• merkevaren er sitert som en kilde;

• svaret beskriver merkevaren faktabasert etter at brukeren navnga den;

• merkevaren dukker opp som en konkurrent eller et sammenligningspunkt;

• systemet sier at merkevaren ikke er egnet for det angitte behovet;

• produktet er navngitt, men feilaktig tilskrevet merkevaren;

• merkevaren er inkludert fordi spørsmålet krevde at alle kjente leverandører skulle listes opp;

• svaret er for vagt til å fastslå om systemet presenterer merkevaren som relevant.

Den siste kategorien er viktigere enn det kan virke. AI-svar bruker ofte komprimert språk, spesielt i tabeller og korte lister. Hvis en forsker ikke kan avgjøre om egnethet er implisert, bør posten merkes som tvetydig eller gjennomgås under en dokumentert regel. Å tvinge hvert svar inn i en binær klassifisering kan skape et misvisende nivå av presisjon.

Hvorfor en høy omtalefrekvens kan eksistere sammen med en lav anbefalingsfrekvens

En merkevare kan dukke opp ofte, men likevel motta få anbefalinger av flere grunner.

Den kan være allment anerkjent, men kun assosiert med et smalt produkt eller publikum. Den kan bli nevnt hovedsakelig i fremkalte spørsmål. Den kan brukes som en referansekilde snarere enn et alternativ å velge. Den kan dukke opp i brede informasjonsbaserte scenarier, men ikke i beslutningsorienterte. Den kan også bli nevnt sammen med konkurrenter uten å bli presentert som en passende løsning for brukerens behov.

Det motsatte er også mulig. En spesialisert merkevare kan ha en beskjeden total omtalefrekvens, men en sterk anbefalingsfrekvens innenfor en liten gruppe svært relevante scenarier. Det kan være mer nyttig enn bred synlighet hvis disse scenariene samsvarer med en reell kommersiell mulighet.

Ingen av resultatene kan forstås ut fra en enkelt prosentandel alene.

En praktisk rapport bør derfor vise minst:

• antall kvalifiserte svar;

• antall og frekvens av gyldige omtaler;

• antall og frekvens av anbefalinger;

• fordelingen mellom fremkalte og spontane observasjoner;

• resultater på scenarionivå;

• resultater på systemnivå;

• de fullstendige svarene eller relevante bevisutdrag;

• reglene for telling og klassifisering.

For en definert studie er de grunnleggende beregningene enkle:

Omtalefrekvens = kvalifiserte svar som inneholder en gyldig omtale ÷ alle kvalifiserte svar × 100 %

Anbefalingsfrekvens = kvalifiserte svar som inneholder en gyldig anbefaling ÷ alle kvalifiserte svar × 100 %

Disse frekvensene bør ikke presenteres som sannsynligheter for at en bruker vil se eller motta en anbefaling. De beskriver andelen observert i det spesifikke utvalget: utvalgte scenarier, systemer, språk, marked, dato og forskningsforhold.

En anbefaling kan fortsatt være unøyaktig

Anbefaling er ikke et synonym for positiv representasjon.

Et AI-system kan anbefale en merkevare basert på en funksjon den ikke lenger tilbyr. Det kan forveksle to enheter med lignende navn, tilskrive et produkt til feil selskap eller utelate en begrensning som er avgjørende for brukeren. Det kan også anbefale en leverandør mens det ignorerer bedre egnede alternativer.

Dette er hvor anbefalingsmåling kobles til det bredere spørsmålet om merkevarens representasjon i store språkmodeller. Tilstedeværelse og anbefaling er observerbare hendelser, men kvaliteten på representasjonen krever ytterligere kontroller: faktisk nøyaktighet, kategoripassform, produkttilskrivning, publikumspassform, konkurrentkontekst, kilder og innramming.

En anbefaling bør derfor gjennomgås som et svar i kontekst, ikke feires automatisk som en suksess.

Det samme prinsippet gjelder for merkevarehallusinasjoner. Hvis et AI-system anbefaler et selskap fordi det har funnet opp et produkt, sted, sertifisering eller partnerskap, inneholder svaret en anbefalingshendelse, men også et faktisk problem. Disse observasjonene bør forbli skillelige i forskningsprotokollen i stedet for å bli slått sammen til ett positivt resultat.

Hvordan måle omtale og anbefaling over tid

Gjentatt forskning kan avsløre om en merkevares observerte tilstedeværelse eller anbefalingsmønster endrer seg. Men bare hvis den komparative kjernen i studien forblir stabil.

De samme enhetene, scenarielogikken, målgruppene, markedene, systemene og klassifiseringsreglene bør beholdes der det er mulig. Endringer i panelet kan fortsatt være nødvendige etter hvert som en virksomhet utvikler seg, men de bør dokumenteres og behandles separat fra den faste delen av studien.

Dette er forskjellen mellom en engangsobservasjon og LLM-merkevareovervåking. Overvåking sammenligner sammenlignbare forskningsperioder. Det betyr ikke å spørre en chatbot av og til om den liker en merkevare.

Når en anbefalingsfrekvens endres, bør de første spørsmålene være beskrivende:

• Hvilke scenarier forårsaket endringen?

• Var bevegelsen synlig på tvers av flere systemer eller bare ett?

• Endret spontane anbefalinger seg, fremkalte anbefalinger seg, eller begge deler?

• Ble merkevaren en primær anbefaling eller kom den bare inn på flere kortlister?

• Var anbefalingene faktabasert nøyaktige?

• Hva skjedde med konkurrentsettet?

• Forble forskningsforholdene sammenlignbare?

Først da kan et team avgjøre om resultatet sannsynligvis er meningsfullt, krever ytterligere testing eller bare gjenspeiler normal respons variasjon.

En enkel modell for å lese AI-svar

En nyttig sekvens er:

Enhet → scenario → respons → klassifisering → bevis

Først, definer enheten: offisielle merkenavn, varianter, produkter og relasjoner som tillater gyldig identifikasjon.

For det andre, definer scenariet: hvem spør, hva de trenger, hvilket stadium av beslutningen de er i, og hvilke begrensninger som er viktige.

For det tredje, bevar responsen i stedet for bare en score eller et ja/nei-merke.

For det fjerde, klassifiser observasjonen: ingen gyldig omtale, omtale, inkludering på kortliste, anbefaling, primær anbefaling, negativ anbefaling eller tvetydig resultat.

Til slutt, behold bevisene som trengs for å gjennomgå klassifiseringen senere: fullstendig svar, plattform, dato, språk, synlige kilder der tilgjengelig, og eventuelle relevante forbehold.

Dette fjerner ikke tolkning fra prosessen. Det gjør tolkningen kontrollerbar. Det forhindrer også at en gunstig omtalefrekvens blir forvekslet med bevis på at AI-systemer aktivt leder relevante brukere mot merkevaren.

Hva dette skillet ikke betyr

Å skille omtaler fra anbefalinger betyr ikke at enhver omtale uten en anbefaling er uviktig. Gjenkjenning, kildetilstedeværelse, kategoriinkludering og konkurrentsammenfall kan alle være nyttige observasjoner når de besvarer et definert forskningsspørsmål.

Det betyr heller ikke at en anbefalingsfrekvens forutsier salg, preferanse eller kundeatferd. AI-genererte svar er ikke et representativt utvalg av markedets etterspørsel, og ordlyden kan variere på tvers av systemer og tid. En anbefaling er bevis på hva et valgt system genererte i et valgt scenario – ikke mer og ikke mindre.

Viktigst av alt, en høyere anbefalingsfrekvens er ikke automatisk målet. Det relevante spørsmålet er om merkevaren anbefales nøyaktig, i scenariene der den genuint hører hjemme, til publikum den kan tjene, og med en representasjon som er konsistent med verifisert informasjon.

Det er derfor omtale og anbefaling bør måles separat. Den ene forteller oss at merkevaren kom inn i svaret. Den andre forteller oss at systemet presenterte den som et relevant alternativ. Å blande dem sammen kan skape en mer attraktiv metrikk, men det fjerner skillet som trengs for å forstå hva AI-systemer faktisk sier.

Hvis du ønsker å undersøke disse observasjonene på tvers av definerte scenarier og AI-systemer, opprett en Semantio-konto og start med en grunnstudie.