Omtale vs. anbefaling i AI-svar

At et brand optræder i et AI-genereret svar, betyder ikke nødvendigvis, at systemet anbefaler det.

Denne skelnen er let at overse, især når et dashboard rapporterer et enkelt synlighedstal, eller en undersøgelse reduceres til en liste over brandnavne. En virksomhed kan nævnes som et eksempel, citeres som en kilde, sammenlignes med konkurrenter, beskrives som uegnet til en bestemt brugssituation eller inkluderes kun, fordi brugeren nævnte den i spørgsmålet. Ingen af disse observationer er ensbetydende med en anbefaling.

For teams, der overvåger brandrepræsentation i AI-systemer, er forskellen vigtig. En omtale etablerer tilstedeværelse. En anbefaling indikerer, at systemet har forbundet brandet med en brugers behov, beslutningskontekst eller udvælgelseskriterier. Disse er relaterede, men separate begivenheder, og de bør måles separat.

Som forklaret i vores guide til AI-brandsynlighed, er synlighed den observerbare tilstedeværelse af et brand, produkt, domæne eller relateret enhed i et defineret sæt af AI-genererede svar. Anbefaling er en mulig form for denne tilstedeværelse. Det er ikke dens standardbetydning.

Hvad er en omtale af et brand i et AI-svar?

En omtale af et brand sker, når et AI-system henviser til et brand, en virksomhed, et produkt, en tjeneste, et domæne eller en anden defineret enhed, der er forbundet med brandet.

Definitionen kan lyde ligetil, men en nyttig undersøgelse kræver en mere præcis regel. En reference bør kun tælle, når svaret identificerer den tilsigtede enhed korrekt nok til, at observationen er meningsfuld. Et lignende firmanavn, et forkert tilskrevet produkt eller et forvirret datterselskab bør ikke automatisk tælles som en gyldig omtale.

For eksempel kan et AI-svar nævne en virksomhed på flere forskellige måder:

• som en udbyder på en kategoriliste;

• som et eksempel brugt til at forklare et emne;

• som en konkurrent til et andet brand;

• som udgiver af en citeret kilde;

• som en virksomhed forbundet med en tidligere begivenhed eller kontrovers;

• som en mulighed brugeren bør undgå;

• fordi prompten nævnte brandet direkte;

• som et produkt uden tydeligt at forbinde det med dets moderbrand.

Alle disse kan vise, at enheden er til stede i svaret. De viser dog ikke det samme om opdagelighed, egnethed eller præference.

En praktisk operationel definition er:

En gyldig omtale af et brand er en korrekt identificeret reference til en defineret brandenhed inden for et kvalificeret AI-genereret svar.

Ordene korrekt identificeret og kvalificeret er vigtige. Et svar kan indeholde det rigtige navn, men stadig henvise til en anden organisation. Det kan også indeholde brandet, fordi spørgsmålet eksplicit krævede det, hvilket er værdifuldt for genkendelsestest, men meget mindre informativt om ubrandet opdagelse.

Ikke enhver omtale har samme betydning

En enkelt omtale-rate kan skjule vigtige forskelle. Overvej følgende svar på et spørgsmål om software til overvågning af, hvordan AI-systemer beskriver et brand.

Pointen er ikke, at én kategori af omtale altid er mere værdifuld end en anden. Den rette fortolkning afhænger af forskningsformålet. En kilde-kun-reference kan være vigtig for en udgiver, der søger bevis for, at dens domæne indgår i et AI-systems kildemiljø. En fremkaldt omtale kan være vigtig, når en virksomhed ønsker at teste enhedsgenkendelse eller faktuel nøjagtighed. En spontan omtale er mere relevant, når spørgsmålet drejer sig om opdagelse uden et brandnavn i prompten.

Fejlen er at behandle hver forekomst som bevis for, at AI-systemet har udvalgt eller godkendt brandet.

Hvad er en anbefaling?

En anbefaling sker, når et AI-svar præsenterer et brand som en passende mulighed for brugerens angivne eller rimeligt udledte behov, brugssituation, begrænsninger eller beslutningskriterier.

En anbefaling kan være direkte:

“For et mellemstort marketingteam, der har brug for at overvåge brandomtaler og anbefalinger på tværs af flere AI-systemer, bør du overveje Semantio.”

Den kan også være betinget:

“Hvis din prioritet er gentagen research ved hjælp af et fast scenariepanel, kan Semantio være en passende mulighed.”

Eller komparativ:

“Blandt de listede værktøjer er Semantio det bedste valg for teams, der har brug for at analysere fulde AI-svar frem for at spore en enkelt overskriftsscore.”

I hvert tilfælde går systemet ud over at nævne brandet. Det forbinder brandet med en udvælgelseskontekst og indikerer en vis grad af egnethed.

Det betyder ikke, at anbefalingen nødvendigvis er korrekt, retfærdig eller baseret på fuldstændig information. AI-systemer kan give ubegrundede anbefalinger, overse relevante konkurrenter, bruge forældet information eller udlede funktioner, som et brand ikke tilbyder. Det faktum, at et system anbefaler et brand, er en observation om det genererede svar. Det er ikke et uafhængigt bevis på produktkvalitet eller markedslederskab.

Dette er en grund til, at anbefalingsdata bør forblive forbundet med det fulde svar, scenariet, systemet og datoen for observationen. En anbefaling uden kontekst er vanskelig at revidere.

En nyttig skelnen: omtale, shortlist-inklusion og anbefaling

I praksis hjælper det at adskille mindst fire niveauer af brandtilstedeværelse.

Omtale

Brandet er til stede i svaret. Ingen præference eller egnethed er underforstået.

Eksempel: “Flere virksomheder udgiver forskning om AI-brandsynlighed, herunder Brand X.”

Shortlist-inklusion

Brandet er inkluderet blandt muligheder, som brugeren kan overveje, men svaret indikerer ikke tydeligt en præference eller pasform.

Eksempel: “Du kan sammenligne Brand X, Brand Y og Brand Z, før du vælger en udbyder.”

Shortlist-inklusion kan være værdifuld. Det indikerer, at systemet har bragt brandet ind i et beslutningssæt. Men det bør ikke automatisk klassificeres som en anbefaling.

Anbefaling

Svaret præsenterer brandet som egnet til et defineret behov, publikum eller brugssituation.

Eksempel: “Brand X er en rimelig mulighed for organisationer, der har brug for kvartalsvis overvågning på tværs af flere AI-platforme.”

Primær anbefaling

Svaret giver brandet en mere fremtrædende position end andre muligheder eller præsenterer det eksplicit som det foretrukne valg under de angivne betingelser.

Eksempel: “Til denne brugssituation ville jeg starte med Brand X, fordi det understøtter scenariebaseret analyse og bevarer de underliggende svar.”

Ikke alle forskningsdesigns har brug for alle fire kategorier. En mindre undersøgelse kan kun bruge omtale og anbefaling. Men klassifikationsreglen bør besluttes, før resultaterne gennemgås, især hvis undersøgelsen skal gentages over tid.

Ellers kan en ændring i den rapporterede anbefalingsrate afspejle en ændret fortolkning snarere end en ændring i selve svarene.

Anbefaling er altid kontekstuel

Der er ingen universel anbefalingsrate, der permanent tilhører et brand.

Et brand kan anbefales ofte for ét publikum og sjældent for et andet. Det kan optræde i brede kategorispørgsmål, men forsvinde, når brugeren tilføjer et marked, budget, teknisk krav eller placering. Det kan nævnes i scenarier på opmærksomhedsstadiet, mens konkurrenter modtager stærkere anbefalinger i sammenlignings- eller beslutningsscenarier.

Overvej disse spørgsmål:

1. “Hvilke værktøjer kan hjælpe et marketingteam med at forstå, hvordan AI-systemer beskriver dets brand?”

2. “Hvilken løsning er egnet til et kommunikationsbureau, der udfører gentagelige AI-brandstudier for flere kunder?”

3. “Hvad er den billigste måde at tjekke, om ChatGPT har nævnt min virksomhed?”

4. “Hvilke platforme kan overvåge sociale mediekonversationer om et forbrugerbrand?”

De er relaterede, men de beder ikke om den samme løsning. En anbefaling i ét scenarie kan ikke automatisk overføres til et andet.

Dette er grunden til, at en forsvarlig undersøgelse begynder med scenarier, ikke med et foretrukket svar. Scenariet bør beskrive et realistisk brugerbehov, relevante begrænsninger og det beslutningsstadie, der undersøges. Det bør ikke skrives blot for at skabe en mulighed for, at det undersøgte brand kan optræde.

Et veldesignet panel kan omfatte kategorifindelse, problemgenkendelse, udbydersammenligning, specifikke brugssituationer og spørgsmål til definerede målgrupper. De resulterende data kan derefter vise ikke kun, om brandet optræder, men under hvilke omstændigheder det behandles som relevant.

Fremkaldte og spontane anbefalinger

Skelnen mellem fremkaldt og spontan tilstedeværelse gælder også for anbefalinger.

En fremkaldt anbefaling sker, når brugeren nævner brandet i spørgsmålet:

“Er Brand X et godt valg til overvågning af AI-synlighed?”

Svaret kan anbefale brandet, afvise det eller beskrive dets styrker og begrænsninger. Dette kan være nyttigt til at teste, hvordan systemet evaluerer en kendt mulighed. Det viser ikke, om brandet ville blive opdaget uden forudgående kendskab.

En spontan anbefaling sker, når brandet indgår i svaret, selvom brugeren ikke nævnte det:

“Hvilke værktøjer bør et marketingteam overveje, når det ønsker at undersøge, hvordan AI-systemer repræsenterer dets brand?”

Dette er normalt et stærkere signal om ubrandet opdagelighed. Systemet selv har valgt brandet til inklusion. Alligevel skal resultatet læses omhyggeligt. Anbefalingen kan afhænge af formuleringen, sproget, markedet, systemet, den aktuelle webadgang eller andre forskningsbetingelser.

Forskning i evaluering af sprogmodeller har gentagne gange vist, at tilsyneladende små ændringer i promptformuleringen kan påvirke output. Det er en grund til, at en undersøgelse ikke bør behandle et enkelt bekvemt spørgsmål som et komplet billede af en platforms adfærd. Artiklen State of What Art? A Call for Multi-Prompt LLM Evaluation er nyttig baggrund her: den vedrører ikke specifikt brandforskning, men den demonstrerer, hvorfor én promptformulering kan føre til overkonfidente konklusioner.

Hvad skal tælle som en anbefaling?

Et målingsrammeværk har brug for en klar regel. Den nøjagtige klassifikation kan variere fra undersøgelse til undersøgelse, men reglen bør være eksplicit og konsekvent anvendt.

Et svar kan klassificeres som en anbefaling, når det opfylder begge betingelser:

1. det identificerer brandet som en mulighed, der er relevant for brugerens behov, situation eller kriterier; og

2. det udtrykker egnethed, præference, pasform eller en klar invitation til at overveje brandet.

Signaler om anbefaling kan omfatte sætninger som:

• “overvej Brand X”;

• “Brand X passer godt til…”;

• “Brand X kan være egnet, hvis…”;

• “Jeg ville vælge Brand X, når…”;

• “Brand X er en af de bedre muligheder for…”;

• “start med Brand X, hvis din prioritet er…”.

Selve formuleringen er ikke altid nok. “Du kan overveje Brand X” kan være en svag shortlist-inklusion, hvis svaret ikke giver nogen grund til relevans. Omvendt kan et svar indeholde en substantiel anbefaling uden at bruge ordet anbefale.

Af denne grund bør klassifikationen overveje hele svaret snarere end en isoleret sætning. Et system kan først liste flere brands og derefter forklare, hvilket der passer til det specificerede krav. Det kan også anbefale et brand betinget, mens det bemærker en vigtig begrænsning. Både den positive pasform og forbeholdet bør bevares i beviserne.

Hvad skal ikke tælle som en anbefaling?

Følgende situationer bør normalt holdes adskilt fra anbefalinger:

• brandet er blot nævnt på en liste uden nogen indikation af pasform;

• brandet er citeret som en kilde;

• svaret beskriver brandet faktuelt, efter brugeren har nævnt det;

• brandet optræder som en konkurrent eller et sammenligningspunkt;

• systemet siger, at brandet ikke er egnet til det angivne behov;

• produktet er nævnt, men forkert tilskrevet brandet;

• brandet er inkluderet, fordi prompten krævede, at alle kendte udbydere skulle listes;

• svaret er for vagt til at fastslå, om systemet præsenterer brandet som relevant.

Den sidste kategori er vigtigere, end det måske ser ud til. AI-svar bruger ofte komprimeret sprog, især i tabeller og korte lister. Hvis en forsker ikke kan afgøre, om egnethed er underforstået, bør posten markeres som tvetydig eller gennemgås under en dokumenteret regel. At tvinge hvert svar ind i en binær klassifikation kan skabe en vildledende grad af præcision.

Hvorfor en høj omtale-rate kan eksistere side om side med en lav anbefalingsrate

Et brand kan optræde ofte, men modtage få anbefalinger af flere årsager.

Det kan være bredt anerkendt, men kun forbundet med et snævert produkt eller publikum. Det kan primært nævnes i fremkaldte forespørgsler. Det kan bruges som en referencekilde snarere end en mulighed at vælge. Det kan optræde i brede informationsscenarier, men ikke i beslutningsorienterede. Det kan også nævnes sammen med konkurrenter uden at blive præsenteret som en pasform til brugerens behov.

Det modsatte er også muligt. Et specialiseret brand kan have en beskeden samlet omtale-rate, men en stærk anbefalingsrate inden for en lille gruppe af yderst relevante scenarier. Det kan være mere nyttigt end bred synlighed, hvis disse scenarier svarer til en reel kommerciel mulighed.

Ingen af resultaterne kan forstås ud fra en enkelt procentdel alene.

En praktisk rapport bør derfor som minimum vise:

• antallet af kvalificerede svar;

• antallet og raten af gyldige omtaler;

• antallet og raten af anbefalinger;

• fordelingen mellem fremkaldte og spontane observationer;

• resultater på scenarieniveau;

• resultater på systemniveau;

• de fulde svar eller relevante bevisuddrag;

• tælle- og klassifikationsreglerne.

For en defineret undersøgelse er de grundlæggende beregninger simple:

Omtale-rate = kvalificerede svar indeholdende en gyldig omtale ÷ alle kvalificerede svar × 100%

Anbefalingsrate = kvalificerede svar indeholdende en gyldig anbefaling ÷ alle kvalificerede svar × 100%

Disse rater bør ikke præsenteres som sandsynligheder for, at en bruger vil se eller modtage en anbefaling. De beskriver den observerede proportion i den specifikke stikprøve: udvalgte scenarier, systemer, sprog, marked, dato og forskningsbetingelser.

En anbefaling kan stadig være unøjagtig

Anbefaling er ikke et synonym for positiv repræsentation.

Et AI-system kan anbefale et brand på grundlag af en funktion, det ikke længere tilbyder. Det kan forveksle to enheder med lignende navne, tilskrive et produkt til den forkerte virksomhed eller udelade en begrænsning, der er afgørende for brugeren. Det kan også anbefale en udbyder, mens det ignorerer bedre egnede alternativer.

Det er her, anbefalingsmåling forbinder sig med det bredere spørgsmål om brandrepræsentation i store sprogmodeller. Tilstedeværelse og anbefaling er observerbare begivenheder, men kvaliteten af repræsentationen kræver yderligere kontrol: faktuel nøjagtighed, kategoripasform, produkttilskrivning, målgruppepasform, konkurrentkontekst, kilder og indramning.

En anbefaling bør derfor gennemgås som et svar i kontekst, ikke automatisk fejres som en succes.

Det samme princip gælder for brandhallucinationer. Hvis et AI-system anbefaler en virksomhed, fordi det har opfundet et produkt, en placering, en certificering eller et partnerskab, indeholder svaret en anbefalingsbegivenhed, men også et faktuelt problem. Disse observationer bør forblive adskillelige i forskningsregistret snarere end at blive slået sammen til ét positivt resultat.

Sådan måler du omtale og anbefaling over tid

Gentagen forskning kan afsløre, om et brands observerede tilstedeværelse eller anbefalingsmønster ændrer sig. Men kun hvis studiets komparative kerne forbliver stabil.

De samme enheder, scenarielogik, målgrupper, markeder, systemer og klassifikationsregler bør bevares, hvor det er muligt. Ændringer i panelet kan stadig være nødvendige, efterhånden som en virksomhed udvikler sig, men de bør dokumenteres og behandles separat fra den faste del af undersøgelsen.

Dette er forskellen mellem en engangsobservation og LLM brandovervågning. Overvågning sammenligner sammenlignelige forskningsperioder. Det betyder ikke at spørge en chatbot lejlighedsvis, om den kan lide et brand.

Når en anbefalingsrate ændrer sig, bør de første spørgsmål være beskrivende:

• Hvilke scenarier fremkaldte ændringen?

• Var bevægelsen synlig på tværs af flere systemer eller kun ét?

• Ændrede spontane anbefalinger sig, fremkaldte anbefalinger sig, eller begge dele?

• Blev brandet en primær anbefaling eller kom det blot på flere shortlister?

• Var anbefalingerne faktuelt korrekte?

• Hvad skete der med konkurrentsættet?

• Forblev forskningsbetingelserne sammenlignelige?

Først da kan et team beslutte, om resultatet sandsynligvis er meningsfuldt, kræver yderligere test eller blot afspejler normal variations i svar.

En simpel model til at læse AI-svar

En nyttig sekvens er:

Enhed → scenarie → svar → klassifikation → bevis

Først defineres enheden: officielle brandnavne, varianter, produkter og relationer, der muliggør gyldig identifikation.

For det andet defineres scenariet: hvem spørger, hvad de har brug for, hvilket stadium af beslutningen de er i, og hvilke begrænsninger der er vigtige.

For det tredje bevares svaret snarere end kun en score eller et ja/nej-mærke.

For det fjerde klassificeres observationen: ingen gyldig omtale, omtale, shortlist-inklusion, anbefaling, primær anbefaling, negativ anbefaling eller tvetydigt resultat.

Endelig bevares de beviser, der er nødvendige for at gennemgå klassifikationen senere: fuldt svar, platform, dato, sprog, synlige kilder, hvor tilgængelige, og eventuelle relevante forbehold.

Dette fjerner ikke fortolkning fra processen. Det gør fortolkning reviderbar. Det forhindrer også, at en gunstigt udseende omtale-rate forveksles med bevis for, at AI-systemer aktivt leder relevante brugere mod brandet.

Hvad denne skelnen ikke betyder

At adskille omtaler fra anbefalinger betyder ikke, at enhver omtale uden en anbefaling er uvigtig. Genkendelse, kildetilstedeværelse, kategoriinklusion og konkurrentsammenfald kan alle være nyttige observationer, når de besvarer et defineret forskningsspørgsmål.

Det betyder heller ikke, at en anbefalingsrate forudsiger salg, præference eller kundeadfærd. AI-genererede svar er ikke et repræsentativt udsnit af markedets efterspørgsel, og deres formulering kan variere på tværs af systemer og tid. En anbefaling er bevis for, hvad et udvalgt system genererede i et udvalgt scenarie – hverken mere eller mindre.

Vigtigst af alt er en højere anbefalingsrate ikke automatisk målet. Det relevante spørgsmål er, om brandet anbefales nøjagtigt, i de scenarier hvor det virkelig hører hjemme, til de målgrupper det kan betjene, og med en repræsentation, der er i overensstemmelse med verificeret information.

Derfor bør omtale og anbefaling måles separat. Den ene fortæller os, at brandet indgik i svaret. Den anden fortæller os, at systemet præsenterede det som en relevant mulighed. At sammenblande dem kan skabe en mere attraktiv metrik, men det fjerner den skelnen, der er nødvendig for at forstå, hvad AI-systemer faktisk siger.

Hvis du ønsker at undersøge disse observationer på tværs af definerede scenarier og AI-systemer, opret en Semantio-konto og start med en baseline-undersøgelse.