Hvad er brandrepræsentation i store sprogmodeller?

Et brand kan optræde i et AI-genereret svar og stadig være forkert repræsenteret.

En model kan nævne en virksomhed, men placere den i den forkerte kategori, anbefale dens produkt til den forkerte målgruppe, sammenligne den med irrelevante konkurrenter eller gentage forældet information.

I hvert tilfælde er brandet synligt. Problemet er hvad denne synlighed faktisk betyder.

At kontrollere, om et brand er blevet nævnt, er derfor ikke nok. Synlighed er én dimension af brandrepræsentation, ikke dens komplette beskrivelse.

Definition af brandrepræsentation i LLM'er

Brandrepræsentation i store sprogmodeller er den observerbare måde, hvorpå et bestemt LLM-baseret system identificerer, beskriver, kategoriserer, sammenligner, anbefaler og synligt underbygger et brand som svar på et defineret scenarie, sprog, tid og miljø.

Repræsentation omfatter både det, der vises i svaret, og eventuelle væsentlige udeladelser, forvanskninger eller fejl. Det dækker:

• den rolle, der er tildelt brandet;

• de produkter, tjenester og målgrupper, der er forbundet med det;

• de attributter, der bruges til at beskrive det;

• hvorvidt og under hvilke betingelser det anbefales;

• de konkurrenter, det sammenlignes med;

• de kilder, der vises sammen med svaret;

• hvorvidt informationen er aktuel og faktuelt korrekt.

Der er endnu ikke en universelt accepteret akademisk definition af LLM-brandrepræsentation. Forskning har undersøgt dens komponenter separat, herunder synlighed i generative motorer, anbefalinger, brandattributter, promptfølsomhed, citater og nøjagtighed. EMNLP-forskning har også dokumenteret forskelle i, hvordan sprogmodeller associerer og anbefaler brands.

Brandrepræsentation samler disse komponenter som et multidimensionelt forskningsobjekt.

Hvad observerer vi egentlig?

At tale om repræsentation "i en model" er en bekvem forkortelse. I praksis møder brugere et bredere system, der kan omfatte:

• den underliggende model;

• systeminstruktioner;

• spørgsmålet og den forudgående samtale;

• produktgrænsefladen og dens indstillinger;

• søge- eller genfindingsmekanismer;

• tilgængelige kilder;

• tidspunktet, hvor forespørgslen blev foretaget.

Ikke alle modeller har internetadgang, bruger ekstern genfinding eller viser citater. Resultater opnået via en API kan også afvige fra svar produceret af en forbrugerapplikation, der bærer det samme modelbrand.

Forskning i Retrieval-Augmented Generation skelner mellem viden kodet i modelparametre og information hentet fra eksterne ressourcer. Dette betyder ikke, at ethvert kommercielt system bruger den samme arkitektur. Enhver undersøgelse af brandrepræsentation bør derfor specificere hvilken model, system, grænseflade og svar-tilstand der blev testet.

Vi måler heller ikke, hvad en model "tænker". Modeller har ikke meninger i menneskelig forstand. Vi observerer output og deres egenskaber. Denne skelnen hjælper med at undgå antropomorf sprogbrug, en bekymring, der er nævnt i NIST Generative AI Profile.

Brandrepræsentation og relaterede begreber

Brandrepræsentation overlapper med velkendte områder inden for marketing og forskning, men er ikke identisk med nogen af dem.

En traditionel søgemaskine præsenterer dokumenter. Et generativt system kan skabe ét svar, hvor et brand beskrives, udelades, sammenlignes eller anbefales. Dets tilstedeværelse bør ikke reduceres til en anden type rangering.

Syv dimensioner af brandrepræsentation

1. Tilstedeværelse og entitetsidentifikation

Det første spørgsmål er, om brandet optræder. Det andet er, om systemet har identificeret den korrekte entitet.

En model kan kombinere information om separate organisationer eller forveksle et moderselskab, et lokalt datterselskab, en produktlinje og en distributør. Et navn, der optræder i et svar, er derfor ikke bevis på korrekt repræsentation. Entiteten og dens relationer skal også være nøjagtige.

2. Rolle, kategori og position

Et brand kan optræde som udbyder, producent, ekspertkilde, eksempel, partner, konkurrent, alternativ eller advarsel. Disse roller er ikke ækvivalente. En virksomhed kan ofte citeres som en kilde til brancheinformation, mens den aldrig optræder blandt anbefalede udbydere. Den kan også placeres i en kategori, som den ikke ønsker at blive associeret med.

Repræsentation handler ikke kun om tilstedeværelse, men også om den funktion, brandet udfører inden for svaret.

3. Produkter, tjenester og målgrupper

Et system kender muligvis et flagskibsprodukt, men overser andre forretningsområder. Det kan overse brandets B2B-tjenester, tildele en tjeneste til den forkerte målgruppe eller beskrive et regionalt tilbud som globalt tilgængeligt.

Analysen bør derfor spørge, hvilke produkter og tjenester der tilskrives brandet, hvilke der forbliver fraværende, hvilke kundebehov der er forbundet med det, og om det angivne omfang af tilbuddet er aktuelt.

To svar kan nævne det samme navn, mens de beskriver to væsentligt forskellige versioner af brandet.

4. Anbefaling og scenarietilpasning

At nævne et brand er ikke det samme som at anbefale det. Et system kan inkludere det blandt mange muligheder, placere det på en shortlist, identificere det som det bedste valg, anbefale det betinget, fraråde det eller udelade det på trods af en stærk overensstemmelse med kriterierne.

Forskning præsenteret på CHI 2025 viste, at subtile ændringer i formulering kan påvirke, om målbegreber og brands optræder i anbefalinger. Dette betyder ikke, at enhver lille promptændring vil vende et resultat. Det viser dog, hvorfor anbefaling bør vurderes ud fra et bestemt scenarie, snarere end at behandles som en universel egenskab ved en model.

5. Attributter, indramning og sentiment

Et brand kan beskrives som innovativt, tilgængeligt, premium, lokalt, sikkert, specialist eller forældet. Disse attributter former svaret, men en enkelt sentimentetiket kan ikke fange hele repræsentationen.

Et positivt svar kan stadig forstærke uønsket positionering. For eksempel kan en virksomhedsudbyder roses, men udelukkende beskrives som en billig løsning for små virksomheder. Analysen bør derfor dække tildelte attributter, årsager til valg, forbehold, tone og overensstemmelse med brandets verificerede positionering.

Positivt sentiment garanterer ikke nøjagtig repræsentation.

6. Konkurrencemæssig kontekst

Modeller sammenligner ikke altid et brand med de konkurrenter, virksomheden selv ville identificere. Svar kan omfatte direkte rivaler, brands fra tilstødende kategorier, udbydere, der betjener forskellige prissegmenter, virksomheder, der optræder sammen i kilder, eller organisationer, der behandles som funktionelle alternativer.

Dette afslører hvordan systemet konstruerer kategorien og det tilgængelige sæt af valgmuligheder. Et samnævnt brand kan dog være en partner, distributør eller kilde snarere end en konkurrent. Sammenfald, sammenligning og ægte anbefaling bør skelnes.

7. Synlige kilder og citater

Hvor kilder vises, kan de omfatte brandets hjemmeside, distributører, medier, sammenligningssider, dokumentation, konkurrentsider eller forældet materiale.

To forbehold er nødvendige. For det første afslører synlige kilder ikke nødvendigvis alle faktorer, der har formet et svar. For det andet beviser et citat ikke, at kilden understøtter den påstand, der står ved siden af. Forskning i verificerbarhed i generative søgemaskiner behandler tilstedeværelsen af et citat og dets faktiske støtte til en erklæring som separate spørgsmål.

En audit bør derfor undersøge både kildens oprindelse og dens relation til den påstand, der fremsættes.

Ikke alle problemer er en hallucination

Hallucination er den mest kendte betegnelse for generative AI-fejl, men den bør ikke beskrive ethvert ugunstigt resultat. NIST bruger udtrykket "konfabulation" for selvsikkert præsenteret falsk eller fejlagtig indhold. Brandrepræsentationsforskning kræver et bredere sæt kategorier:

• faktuel hallucination – en påstand strider mod fakta;

• udokumenteret påstand – tilgængelig evidens understøtter den ikke;

• forældet information – en tidligere korrekt erklæring er ikke længere aktuel;

• entitetsforveksling – information om forskellige entiteter kombineres;

• klassifikationsfejl – brandet placeres i den forkerte kategori;

• udeladelse – en væsentlig kendsgerning eller del af tilbuddet mangler;

• forvrængning eller oversimplificering – udsagnet ændrer betydningen uden at være helt falsk;

• anbefalingsmismatch – brandet anbefales på trods af, at det ikke opfylder kriterierne;

• positioneringsafvigelse – repræsentationen afviger fra brandets verificerede identitet og nuværende positionering.

Hallucinationer er en del af den bredere kategori af brandrepræsentationsproblemer. En falsk påstand, et manglende produkt, en forvekslet entitet og en fejlplaceret anbefaling kræver forskellige reaktioner.

Hvorfor kan brandrepræsentation ændre sig?

Genererede svar afhænger af deres betingelser: formulering, brugerintention, sprog, placering, samtalelogg, model, grænseflade, adgang til søgning, tilgængelige kilder, dato og selve genereringens variabilitet.

En stor undersøgelse offentliggjort i Transactions of the Association for Computational Linguistics fandt, at parafraserede instruktioner kan producere materielt forskellige modelresultater. Den dækkede mange modeller og opgaver snarere end kun brands, men giver stærke beviser for promptfølsomhed.

Tre fænomener bør derfor adskilles:

• scenarie- eller promptfølsomhed – spørgsmålet ændres;

• outputvariabilitet – det samme scenarie gentages under de samme betingelser;

• ændring over tid – testen gentages efter at modeller, kilder eller brandinformation kan have ændret sig.

Et enkelt svar er bevis på, hvad et bestemt system returnerede under definerede betingelser. Det er ikke bevis på en stabil modelmening eller en garanti for fremtidige svar.

Overvågning over tid er ikke automatisk en test af stabilitet. Den viser forskelle mellem målinger, men erstatter ikke gentagne kørsler under identiske forhold.

Hvordan bør brandrepræsentation studeres?

En ansvarlig undersøgelse bør begynde med at definere entiteten og den reference, som resultaterne skal vurderes ud fra.

1. Definer brandidentiteten

Opret en aktuel oversigt over organisationen, produkter, tjenester, målgrupper, markeder, attributter, konkurrenter og fakta, der kræver granskning. Adskil fakta fra ambitioner og salgsfremmende påstande.

2. Design realistiske scenarier

Scenarier bør afspejle ægte informations- eller beslutningsbehov: at finde en udbyder, sammenligne løsninger, kontrollere omdømme, vælge et produkt eller identificere alternativer. Dette er ikke en konventionel søgeordsliste. Det samme emne kan kræve forskellige scenarier for forskellige målgrupper og beslutningsfaser.

3. Registrer forskningsmiljøet

Dokumenter model, grænseflade, sprog, dato, internetadgang og antal kørsler. Uden disse detaljer bliver senere sammenligning upålidelig.

4. Bevar beviserne

Aggregerede resultater bør ikke erstatte fulde svar. Gem logfiler, relevante uddrag, kilder og citater, så hver konklusion kan spores tilbage til dens beviser.

5. Analyser dimensioner separat

Tilstedeværelse, anbefaling, sentiment, attributter, konkurrenter, kilder og nøjagtighed besvarer forskellige spørgsmål. At kombinere dem til én score kan skjule hovedproblemet. Et meget synligt brand kan stadig tildeles den forkerte kategori, miste anbefalinger, beskrives med forældet information eller associeres med den forkerte målgruppe.

6. Angiv begrænsningerne

Konklusioner skal matche omfanget. En undersøgelse af fem modeller beskriver ikke ethvert AI-system; en test på ét sprog etablerer ikke identisk repræsentation på andre markeder. Brand Semantics giver en bredere guide til at udføre en AI-synlighedsrevision på tværs af AI-søgeplatforme.

Hvad kan denne forskning fortælle et brand?

En veludført undersøgelse kan vise, om et brand genkendes, hvilken rolle det spiller, hvilke behov og målgrupper det associeres med, hvornår det anbefales, hvilke konkurrenter der optræder, og hvor fejl eller forvanskninger opstår.

Den kan ikke alene fastslå, hvad enhver bruger vil se, hvordan folk opfatter brandet, om et svar ændrede en købsbeslutning, eller hvad dets direkte salgspåvirkning vil være. Disse spørgsmål kræver yderligere trafik-, konverterings-, attribution- eller kvalitativ forskning.

Hvordan analyserer Semantio brandrepræsentation?

Semantio er en forskningsplatform til analyse og overvågning af, hvordan store sprogmodeller beskriver, sammenligner og anbefaler brands – og hvor de genererer fejl, unøjagtigheder eller andre repræsentationsproblemer.

Forskning kan dække brandomtaler, rolle, anbefalinger, attributter, sentiment, produkter, målgrupper, konkurrenter, kilder og citater, hvor tilgængeligt, samt konsistensen af påstande med brandets definerede identitet.

Brugere kan bevæge sig fra aggregerede fund til individuelle svar og deres understøttende beviser. Brandrepræsentation reduceres derfor ikke til en enkelt rangering eller uigennemsigtig score.

Opret en konto og se, hvordan sprogmodeller repræsenterer dit brand.

Ofte stillede spørgsmål

Er brandrepræsentation det samme som AI-synlighed?

Nej. Synlighed spørger, om et brand optræder. Repræsentation dækker også dets rolle, anbefalinger, attributter, tilbud, målgrupper, konkurrenter, kilder og faktuelle nøjagtighed.

Har en LLM en stabil mening om et brand?

En sådan konklusion bør ikke drages. Et svar er output fra et bestemt system under bestemte betingelser og kan variere efter scenarie, model, sprog, kilder og dato.

Kan et meget synligt brand stadig være dårligt repræsenteret?

Ja. Det kan ofte optræde, mens det placeres i den forkerte kategori, associeres med et forældet tilbud eller anbefales til den forkerte målgruppe.

Er ethvert forkert svar en hallucination?

Nej. Problemet kan i stedet være forældet information, entitetsforveksling, fejlklassificering, udeladelse, oversimplificering eller en anbefaling, der ikke passer til kriterierne.