Hva er merkevarepresentasjon i store språkmodeller?

En merkevare kan dukke opp i et AI-generert svar og likevel være representert feilaktig.

En modell kan nevne et selskap, men plassere det i feil kategori, anbefale produktet til feil målgruppe, sammenligne det med irrelevante konkurrenter eller gjenta utdatert informasjon.

I hvert tilfelle er merkevaren synlig. Problemet er hva denne synligheten faktisk betyr.

Å sjekke om en merkevare er nevnt er derfor ikke nok. Synlighet er én dimensjon av merkevarerepresentasjon, ikke dens komplette beskrivelse.

Definere merkevarerepresentasjon i LLM-er

Merkevarerepresentasjon i store språkmodeller er den observerbare måten et bestemt LLM-basert system identifiserer, beskriver, kategoriserer, sammenligner, anbefaler og synlig underbygger en merkevare på, som svar på et definert scenario, språk, tid og miljø.

Representasjon inkluderer både det som vises i svaret og eventuelle betydelige utelatelser, forvrengninger eller feil. Det dekker:

• rollen som er tildelt merkevaren;

• produktene, tjenestene og målgruppene som er assosiert med den;

• attributtene som brukes til å beskrive den;

• hvorvidt og under hvilke betingelser den anbefales;

• konkurrentene den sammenlignes med;

• kildene som vises sammen med svaret;

• hvorvidt informasjonen er aktuell og faktisk korrekt.

Det finnes ennå ingen universelt akseptert akademisk definisjon av LLM-merkevarerepresentasjon. Forskning har undersøkt komponentene separat, inkludert synlighet i generative motorer, anbefalinger, merkevareattributter, prompt-sensitivitet, sitater og nøyaktighet. EMNLP-forskning har også dokumentert forskjeller i hvordan språkmodeller assosierer og anbefaler merkevarer.

Merkevarerepresentasjon samler disse komponentene som et flerdimensjonalt forskningsobjekt.

Hva observerer vi egentlig?

Å snakke om representasjon "i en modell" er en praktisk forkortelse. I praksis møter brukere et bredere system som kan inkludere:

• den underliggende modellen;

• systeminstruksjoner;

• spørsmålet og den foregående samtalen;

• produktgrensesnittet og dets innstillinger;

• søke- eller gjenfinningsmekanismer;

• tilgjengelige kilder;

• tidspunktet for spørringen.

Ikke alle modeller har internettilgang, bruker ekstern gjenfinning eller viser sitater. Resultater oppnådd via en API kan også avvike fra svar produsert av en forbrukerapplikasjon som bruker samme modellmerke.

Forskning på Retrieval-Augmented Generation (RAG) skiller kunnskap kodet i modellparametere fra informasjon hentet fra eksterne ressurser. Dette betyr ikke at alle kommersielle systemer bruker samme arkitektur. Enhver studie av merkevarerepresentasjon bør derfor spesifisere hvilken modell, system, grensesnitt og responsmodus som ble testet.

Vi måler heller ikke hva en modell "tenker". Modeller har ikke meninger i menneskelig forstand. Vi observerer utdata og deres egenskaper. Dette skillet bidrar til å unngå antropomorfisk språk, en bekymring som er notert i NIST Generative AI Profile.

Merkevarerepresentasjon og relaterte konsepter

Merkevarerepresentasjon overlapper med kjente områder innen markedsføring og forskning, men er ikke identisk med noen av dem.

En tradisjonell søkemotor presenterer dokumenter. Et generativt system kan lage ett svar der en merkevare beskrives, utelates, sammenlignes eller anbefales. Dens tilstedeværelse bør ikke reduseres til en annen type rangering.

Syv dimensjoner av merkevarerepresentasjon

1. Tilstedeværelse og entitetsidentifikasjon

Det første spørsmålet er om merkevaren dukker opp. Det andre er om systemet har identifisert riktig entitet.

En modell kan kombinere informasjon om separate organisasjoner eller forveksle et morselskap, lokalt datterselskap, produktlinje og distributør. Et navn som dukker opp i et svar er derfor ikke bevis på korrekt representasjon. Entiteten og dens relasjoner må også være nøyaktige.

2. Rolle, kategori og posisjon

En merkevare kan fremstå som en leverandør, produsent, ekspertkilde, eksempel, partner, konkurrent, alternativ eller advarsel. Disse rollene er ikke likeverdige. Et selskap kan ofte siteres som en kilde til bransjeinformasjon, men aldri dukke opp blant anbefalte leverandører. Det kan også plasseres i en kategori det ikke ønsker å bli assosiert med.

Representasjon handler ikke bare om tilstedeværelse, men også om funksjonen merkevaren utfører i svaret.

3. Produkter, tjenester og målgrupper

Et system kan kjenne et flaggskipprodukt, men overse andre forretningsområder. Det kan gå glipp av merkevarens B2B-tjenester, tildele en tjeneste til feil målgruppe eller beskrive et regionalt tilbud som globalt tilgjengelig.

Analysen bør derfor spørre hvilke produkter og tjenester som tilskrives merkevaren, hvilke som mangler, hvilke kundebehov som er assosiert med den, og om det angitte omfanget av tilbudet er aktuelt.

To svar kan nevne samme navn, men beskrive to vesentlig forskjellige versjoner av merkevaren.

4. Anbefaling og scenario-tilpasning

Å nevne en merkevare er ikke det samme som å anbefale den. Et system kan inkludere den blant mange alternativer, plassere den på en kortliste, identifisere den som det beste valget, anbefale den betinget, fraråde den eller utelate den til tross for en sterk match med kriteriene.

Forskning presentert på CHI 2025 fant at subtile endringer i ordlyden kan påvirke om målbegreper og merkevarer vises i anbefalinger. Dette betyr ikke at enhver liten prompt-endring vil reversere et resultat. Det viser hvorfor anbefaling bør vurderes mot et bestemt scenario, snarere enn å behandles som en universell egenskap ved en modell.

5. Attributter, innramming og sentiment

En merkevare kan beskrives som innovativ, tilgjengelig, premium, lokal, trygg, spesialisert eller utdatert. Disse attributtene former svaret, men en enkelt sentiment-etikett kan ikke fange hele representasjonen.

Et positivt svar kan likevel forsterke uønsket posisjonering. For eksempel kan en bedriftsleverandør bli rost, men utelukkende beskrevet som et lavprisalternativ for småbedrifter. Analysen bør derfor dekke tildelte attributter, årsaker til valg, forbehold, tone og samsvar med merkevarens verifiserte posisjonering.

Positivt sentiment garanterer ikke nøyaktig representasjon.

6. Konkurransemessig kontekst

Modeller sammenligner ikke alltid en merkevare med konkurrentene selskapet selv ville identifisert. Svar kan inkludere direkte rivaler, merkevarer fra tilstøtende kategorier, leverandører som betjener forskjellige prissegmenter, selskaper som forekommer sammen i kilder eller organisasjoner som behandles som funksjonelle alternativer.

Dette avslører hvordan systemet konstruerer kategorien og det tilgjengelige settet av valg. Imidlertid kan en mednevnt merkevare være en partner, distributør eller kilde snarere enn en konkurrent. Samforekomst, sammenligning og ekte anbefaling bør skilles.

7. Synlige kilder og sitater

Der kilder vises, kan de inkludere merkevarens nettsted, distributører, medier, sammenligningssider, dokumentasjon, konkurrentsider eller utdaterte materialer.

To forbehold er nødvendige. For det første avslører synlige kilder ikke nødvendigvis alle faktorer som formet et svar. For det andre beviser et sitat ikke at kilden støtter påstanden ved siden av. Forskning på verifiserbarhet i generative søkemotorer behandler tilstedeværelsen av et sitat og dets faktiske støtte for en uttalelse som separate spørsmål.

En revisjon bør derfor undersøke både opprinnelsen til en kilde og dens forhold til påstanden som fremsettes.

Ikke alle problemer er en hallusinasjon

Hallusinasjon er den mest kjente betegnelsen for generative AI-feil, men den bør ikke beskrive alle ugunstige resultater. NIST bruker begrepet "konfabulasjon" for selvsikkert presentert falskt eller feilaktig innhold. Forskning på merkevarerepresentasjon krever et bredere sett med kategorier:

• faktisk hallusinasjon – en påstand er i strid med fakta;

• ubegrunnet påstand – tilgjengelig bevis underbygger den ikke;

• utdatert informasjon – en tidligere korrekt uttalelse er ikke lenger aktuell;

• entitetsforveksling – informasjon om forskjellige entiteter kombineres;

• klassifiseringsfeil – merkevaren plasseres i feil kategori;

• utelatelse – et betydelig faktum eller en del av tilbudet mangler;

• forvrengning eller overforenkling – uttalelsen endrer betydningen uten å være helt falsk;

• anbefalingsmismatch – merkevaren anbefales til tross for at den ikke oppfyller kriteriene;

• posisjoneringsfeil – representasjonen avviker fra merkevarens verifiserte identitet og nåværende posisjonering.

Hallusinasjoner er en del av den bredere kategorien av problemer med merkevarerepresentasjon. En falsk påstand, manglende produkt, forvirret entitet og feilplassert anbefaling krever forskjellige svar.

Hvorfor kan merkevarerepresentasjon endre seg?

Genererte svar avhenger av deres betingelser: ordlyd, brukerintensjon, språk, sted, samtalelogg, modell, grensesnitt, tilgang til søk, tilgjengelige kilder, dato og selve generasjonens variabilitet.

En stor studie publisert i Transactions of the Association for Computational Linguistics fant at parafraserte instruksjoner kan gi vesentlig forskjellige modellresultater. Den dekket mange modeller og oppgaver snarere enn bare merkevarer, men gir sterke bevis for prompt-sensitivitet.

Tre fenomener bør derfor skilles:

• scenario- eller prompt-sensitivitet – spørsmålet endres;

• utdata-variabilitet – samme scenario gjentas under samme betingelser;

• endring over tid – testen gjentas etter at modeller, kilder eller merkevareinformasjon kan ha endret seg.

Et enkelt svar er bevis på hva et bestemt system returnerte under definerte forhold. Det er ikke bevis på en stabil modellmening eller en garanti for fremtidige svar.

Overvåking over tid er ikke automatisk en test av stabilitet. Det viser forskjeller mellom målinger, men erstatter ikke gjentatte kjøringer under identiske forhold.

Hvordan bør merkevarerepresentasjon studeres?

En ansvarlig studie bør starte med å definere entiteten og referansen som resultatene skal vurderes mot.

1. Definer merkevareidentiteten

Opprett en aktuell oversikt over organisasjonen, produkter, tjenester, målgrupper, markeder, attributter, konkurrenter og fakta som krever granskning. Skill fakta fra ambisjoner og salgsfremmende påstander.

2. Design realistiske scenarier

Scenarier bør gjenspeile reelle informasjons- eller beslutningsbehov: finne en leverandør, sammenligne løsninger, sjekke omdømme, velge et produkt eller identifisere alternativer. Dette er ikke en konvensjonell søkeordsliste. Samme emne kan kreve forskjellige scenarier for forskjellige målgrupper og beslutningsstadier.

3. Dokumenter forskningsmiljøet

Dokumenter modell, grensesnitt, språk, dato, internettilgang og antall kjøringer. Uten disse detaljene blir senere sammenligning upålitelig.

4. Bevar bevisene

Aggregerte resultater bør ikke erstatte fullstendige svar. Oppbevar logger, relevante utdrag, kilder og sitater slik at hver konklusjon kan spores tilbake til bevisene.

5. Analyser dimensjoner separat

Tilstedeværelse, anbefaling, sentiment, attributter, konkurrenter, kilder og nøyaktighet svarer på forskjellige spørsmål. Å kombinere dem til én score kan skjule hovedproblemet. En svært synlig merkevare kan likevel bli tildelt feil kategori, miste anbefalinger, bli beskrevet med utdatert informasjon eller bli assosiert med feil målgruppe.

6. Angi begrensningene

Konklusjonene må samsvare med omfanget. En studie av fem modeller beskriver ikke alle AI-systemer; en test på ett språk etablerer ikke identisk representasjon i andre markeder. Brand Semantics gir en bredere guide til hvordan man utfører en AI-synlighetsrevisjon på tvers av AI-søkeplattformer.

Hva kan denne forskningen fortelle en merkevare?

En velutformet studie kan vise om en merkevare gjenkjennes, hvilken rolle den spiller, hvilke behov og målgrupper den er assosiert med, når den anbefales, hvilke konkurrenter som dukker opp, og hvor feil eller forvrengninger oppstår.

Den kan ikke, alene, fastslå hva hver bruker vil se, hvordan folk oppfatter merkevaren, om et svar endret en kjøpsbeslutning eller hva dens direkte salgspåvirkning vil være. Disse spørsmålene krever ytterligere trafikk-, konverterings-, attribusjons- eller kvalitativ forskning.

Hvordan analyserer Semantio merkevarerepresentasjon?

Semantio er en forskningsplattform for analyse og overvåking av hvordan store språkmodeller beskriver, sammenligner og anbefaler merkevarer – og hvor de genererer feil, unøyaktigheter eller andre representasjonsproblemer.

Forskning kan dekke merkevareomtaler, rolle, anbefalinger, attributter, sentiment, produkter, målgrupper, konkurrenter, kilder og sitater der det er tilgjengelig, samt konsistensen av påstander med merkevarens definerte identitet.

Brukere kan bevege seg fra aggregerte funn til individuelle svar og deres underbyggende bevis. Merkevarerepresentasjon reduseres derfor ikke til en enkelt rangering eller ugjennomsiktig score.

Opprett en konto og se hvordan språkmodeller representerer din merkevare.

Ofte stilte spørsmål

Er merkevarerepresentasjon det samme som AI-synlighet?

Nei. Synlighet spør om en merkevare dukker opp. Representasjon dekker også dens rolle, anbefalinger, attributter, tilbud, målgrupper, konkurrenter og faktisk nøyaktighet.

Har en LLM en stabil mening om en merkevare?

En slik konklusjon bør ikke trekkes. Et svar er utdata fra et bestemt system under bestemte forhold og kan variere etter scenario, modell, språk, kilder og dato.

Kan en svært synlig merkevare likevel være dårlig representert?

Ja. Den kan ofte dukke opp, men bli plassert i feil kategori, assosiert med et utdatert tilbud eller anbefalt til feil målgruppe.

Er hvert feil svar en hallusinasjon?

Nei. Problemet kan i stedet være utdatert informasjon, entitetsforveksling, feilklassifisering, utelatelse, overforenkling eller en anbefaling som ikke passer kriteriene.