Hva er en merkevarehallusinasjon i AI-svar?

En AI-modell kan korrekt gjenkjenne en merkevare, nevne dens produkter og plassere den sammen med relevante konkurrenter, samtidig som den tilskriver den en ikke-eksisterende tjeneste, en feil pris, en utdatert lokasjon eller et forhold til et annet selskap som ikke eksisterer.

Et slikt svar kan virke overbevisende. Det kan være detaljert, logisk og fritt for åpenbare advarselstegn. Likevel kan det fortsatt inneholde en falsk påstand.

Det er da vi kan snakke om en merkevarehallusinasjon.

Imidlertid er ikke ethvert ugunstig, ufullstendig eller merkevareinkonsistent svar en hallusinasjon. En modell kan utelate et viktig produkt, basere seg på informasjon som en gang var nøyaktig, overforenkle et tilbud eller anbefale en merkevare til et uegnet publikum. Dette er alle problemer med merkevarerepresentasjon, men de krever forskjellige diagnoser og forskjellige korrigerende handlinger.

Definisjon av en merkevarehallusinasjon

En merkevarehallusinasjon er en verifiserbart falsk faktisk påstand generert av et AI-system om en merkevare, dens produkter, tjenester, operasjoner eller forhold til andre enheter.

Denne definisjonen er bevisst snevrere enn måten begrepet "hallusinasjon" ofte brukes på i generell diskusjon.

NIST bruker begrepet konfabulasjon for å beskrive selvsikkert presentert, men feilaktig eller falskt innhold generert av et AI-system. OpenAI beskriver hallusinasjoner som plausible, men usanne utsagn produsert av språkmodeller.

I en merkevarekontekst er det sentrale kriteriet verifiserbarhet. Det er ikke nok å anse et svar som ubeleilig, unøyaktig eller inkonsistent med selskapets tiltenkte posisjonering. En spesifikk påstand må identifiseres, den korrekte faktiske tilstanden etableres og passende bevis finnes for å løse motsetningen.

Hvordan kan en merkevarehallusinasjon se ut?

En modell kan for eksempel hevde at en merkevare tilbyr et produkt som ikke eksisterer, har trukket seg fra et bestemt land, har et spesifikt sertifikat, tilhører en annen konsern, betjener et kundesegment den faktisk ikke betjener, eller har jobbet med et selskap den aldri har hatt et forhold til.

Noen feil er enkle å identifisere. Andre høres plausible ut fordi de passer til kategoriens generelle egenskaper. En modell kan tildele en typisk bransjefunksjon til et selskap, overføre et tilbud fra ett marked til et annet, eller kombinere informasjon om et lokalt datterselskap med fakta om den bredere konsernet.

Hvorfor genererer modeller falsk informasjon om merkevarer?

Store språkmodeller fungerer ikke som strukturerte databaser som inneholder én komplett og oppdatert post for hvert selskap. De genererer svar basert på språkmønstre, tilgjengelig kunnskap, systeminstruksjoner og, i noen tilfeller, informasjon hentet fra nettkilder.

·       informasjon om merkevaren er ufullstendig, spredt eller motstridende;

·       kilder beskriver forskjellige markeder, perioder eller enheter innenfor samme gruppe;

·       merkevaren har et navn som ligner på et annet selskap;

·       en re-branding, oppkjøp, fusjon eller porteføljeendring har funnet sted;

·       modellen fyller et informasjonsgap ved hjelp av typiske kategorikarakteristikker;

·       aktuell informasjon var utilgjengelig under betingelsene for den spesifikke spørringen;

·       systemet hentet en utdatert, feilaktig eller feiltolket kilde;

·       svaret kombinerer korrekte fakta til en feil konklusjon.

Et flytende og selvsikkert svar er ikke bevis på at modellen har nøyaktig informasjon. Ulike systemer kan også bruke forskjellige kilder og operere under forskjellige forhold.

Merkevarehallusinasjon vs. utdatert informasjon

Utdatert informasjon var en gang korrekt, men gjenspeiler ikke lenger den nåværende situasjonen.

"Selskap X har et kontor på adresse A."

Hvis selskapet opererte der, men flyttet for to år siden, er svaret utdatert. Det er kanskje ikke en hallusinasjon i streng forstand, fordi modellen kan ha reprodusert et historisk faktum uten å erkjenne at omstendighetene hadde endret seg.

"Selskap X åpnet et kontor på adresse A i 2024."

Hvis selskapet aldri har operert på den adressen, er dette en falsk faktisk påstand og derfor en hallusinasjon.

Forskjellen er viktig i praksis. Utdatert informasjon indikerer vanligvis at eksisterende kilder må oppdateres og konsolideres. En hallusinasjon kan også kreve en undersøkelse av hvordan en helt falsk assosiasjon ble skapt.

Merkevarehallusinasjon vs. en udokumentert påstand

En udokumentert påstand er et utsagn som det ikke er funnet tilstrekkelig bevis for.

"Produkt X er den mest valgte løsningen blant polske produksjonsbedrifter."

Mangel på bevis betyr ikke automatisk at utsagnet er falskt. Det kan være sant, delvis sant eller umulig å løse ved hjelp av tilgjengelige data.

En udokumentert påstand bør derfor forbli en egen kategori fra en falsk påstand. For å klassifisere informasjon som en hallusinasjon, er det nødvendig å demonstrere at den er i konflikt med passende referansemateriale. Fraværet av en kilde er ikke nok.

Merkevarehallusinasjon vs. utelatelse

En utelatelse oppstår når informasjon som kan være viktig for brukeren, ikke inkluderes i svaret.

En modell kan unnlate å nevne en merkevare blant egnede leverandører, utelate et av hovedproduktene eller presentere bare en del av tilbudet. Dette skaper ennå ikke en direkte falsk påstand.

Hvis et svar lister opp fem leverandører, men ikke inkluderer merkevare X, betyr dette ikke automatisk at modellen hevder at merkevare X ikke eksisterer eller ikke tilbyr den relevante løsningen. Det kan indikere et synlighetsgap eller en ufullstendig representasjon.

"Merkevare X tilbyr ikke denne typen tjeneste."

Hvis tjenesten eksisterer, er dette en verifiserbart falsk påstand snarere enn en enkel utelatelse.

Vi forklarer forskjellen mellom tilstedeværelse og den bredere måten en merkevare representeres på i Hva er merkevarerepresentasjon i store språkmodeller?.

Merkevarehallusinasjon vs. overforenkling

Ikke ethvert unøyaktig svar er klart falskt.

En modell kan beskrive et diversifisert selskap som "en portprodusent", selv om virksomheten også tilbyr dører, operatører, lastesystemer og vedlikeholdstjenester. Beskrivelsen er ufullstendig og reduktiv, men ikke nødvendigvis falsk.

I slike tilfeller er forvrengning, overforenkling eller ufullstendig representasjon en mer nøyaktig klassifisering. Vurderingen bør fokusere på spesifikke setninger og deres betydning snarere enn det generelle inntrykket som skapes av svaret.

Merkevarehallusinasjon vs. posisjoneringsfeil

Erklært posisjonering er ikke det samme som et verifisert faktum. En merkevare kan presentere seg som innovativ, mens en modell beskriver den som en tradisjonell leverandør. Dette kan representere et attributtproblem eller en posisjoneringsfeil. Det er ikke en hallusinasjon med mindre svaret inneholder en påstand som motsier et verifiserbart faktum.

Merkevarehallusinasjon vs. enhetsforveksling

Enhetsforveksling oppstår når et system kombinerer informasjon om forskjellige selskaper, produkter, datterselskaper eller personer. Det kan involvere virksomheter med lignende navn, en merkevare og dens distributør, eller et lokalt selskap og en internasjonal gruppe.

Enhetsforveksling beskriver typen problem. Hallusinasjonen er den spesifikke falske påstanden som følge av den, for eksempel å tildele et selskap til en konsern det ikke har noe forhold til.

Merkevarehallusinasjon versus en uegnet anbefaling

Et AI-system kan beskrive en merkevares tilbud nøyaktig, men anbefale det i en situasjon produktet ikke er designet for. Svaret kan inneholde bare sann informasjon og likevel føre til en dårlig beslutning.

Dette er et anbefalingsmismatch, ikke nødvendigvis en hallusinasjon. Faktisk nøyaktighet og anbefalingsrelevans er separate dimensjoner.

Hvorfor er merkevarehallusinasjoner en forretningsrisiko?

Falsk informasjon kan genereres direkte i en brukers samtale med et AI-system før vedkommende besøker merkevarens nettsted.

Salgsrisiko

Hvis en modell hevder at en merkevare ikke tilbyr et bestemt produkt, ikke opererer i et spesifikt marked eller ikke oppfyller et nødvendig kriterium, kan brukeren ekskludere den før de besøker nettstedet. Merkevaren mister da muligheten til å korrigere informasjonen innenfor sin egen salgsreise.

Omdømmerisiko

Falsk informasjon om sertifikater, kvalitet, sikkerhet, eierskap eller selskapets drift kan påvirke hvordan brukere vurderer merkevarens troverdighet. Et AI-svar har ikke alltid en permanent URL, en navngitt forfatter eller en synlig korreksjonsbane. Dette gjør problemet vanskeligere å identifisere og dokumentere.

PR-risiko

Under en krise kan modeller forveksle enheter eller presentere en ubekreftet tolkning som et faktum. Uten lagrede og daterte svar blir det vanskeligere å vurdere problemets omfang og forberede en korreksjon.

Analytisk risiko

Hvis hver feil, utelatelse eller ugunstig svar klassifiseres som en hallusinasjon, mister analysen troverdighet. Et oppblåst antall rapporterte hallusinasjoner kan føre til falske alarmer og anbefalinger som ikke adresserer den faktiske årsaken til problemet.

Hvordan kan du avgjøre om et svar inneholder en merkevarehallusinasjon?

Pålitelig verifisering bør finne sted på nivået av individuelle påstander.

1. Bevar hele svaret

Ikke vurder bare et isolert fragment. Betydningen av en setning kan avhenge av spørsmålet, kvalifikasjonene og resten av svaret. Det er nyttig å registrere spørringen, hele svaret, datoen, navnet på systemet, språket, markedet og eventuelle synlige kilder.

2. Trekk ut den spesifikke påstanden

En uttalelse som "svaret representerer merkevaren feil" er for bred. En verifiserbar påstand bør identifiseres, for eksempel: "Selskapet tilbyr ikke tjenester til individuelle kunder." Først da kan uttalelsen sammenlignes med relevant referansemateriale.

3. Avgjør om påstanden er faktisk

En uttalelse som "produktet koster 1000 kr" kan vanligvis verifiseres. En vurdering som "produktet er dyrt" avhenger av kontekst og sammenligningskriterier.

4. Identifiser passende referansemateriale

Bevis kan inkludere en offisiell produktside, en gjeldende prisliste, vilkår og betingelser, teknisk dokumentasjon, et offentlig register eller en pålitelig ekstern kilde. Det må samsvare med den nøyaktige påstanden, markedet og perioden som undersøkes.

5. Tildel riktig status

En praktisk klassifisering kan inkludere bekreftet, motsagt, uløst, utdatert, udokumentert og ikke-faktisk. Bare en påstand som er i konflikt med et passende faktisk grunnlag, kan trygt klassifiseres som en faktisk hallusinasjon.

Utelukker en synlig kilde en hallusinasjon?

Nei.

Et svar kan inneholde en sitering og likevel presentere falsk informasjon. Den siterte kilden kan selv inneholde en feil, kan være utdatert, kan ikke støtte setningen eller kan ha blitt feiltolket.

En sitering viser at en kilde er referert. Det beviser ikke automatisk at påstanden er sann eller at kilden genuint støtter den.

Det er derfor nyttig å skille kildevalg, sitatvisning, kildens innflytelse på svaret og nøyaktigheten av den endelige påstanden.

Indikerer én hallusinasjon et permanent modellproblem?

Nei.

Et enkelt svar er en observasjon fra en spesifikk studie. Det beviser ikke at systemet alltid vil generere den samme feilen eller at alle brukere vil motta identisk informasjon.

Resultatet kan avhenge av spørsmålets ordlyd, datoen, språket, markedet, systemet som testes og kildene som var tilgjengelige på det tidspunktet.

Bare påfølgende sammenlignbare studier kan vise om en feil gjentar seg, vises på tvers av flere systemer eller vedvarer til tross for informasjonsendringer. Vi diskuterer denne prosessen mer detaljert i Hva er LLM merkevareovervåking?.

Hvordan kan en merkevare reagere på en oppdaget hallusinasjon?

Det finnes ingen enkelt bryter som direkte kan korrigere kunnskapen til hver AI-modell. Responsen bør følge av diagnosen av det spesifikke tilfellet.

Det første trinnet er å avgjøre om den falske informasjonen vises på merkevarens egen nettside, kommer fra utdatert materiale, eksisterer i en ekstern kilde, skyldes enhetsforveksling eller vises uten en synlig kilde.

Merkevaren kan deretter oppdatere produktsider, kontaktinformasjon og eierskapsinformasjon, skille tydelig mellom konsernnivå- og lokalselskapsdata, korrigere eksterne kilder og publisere en entydig forklaring på en re-branding, oppkjøp eller porteføljeendring. Når disse handlingene er implementert, bør studien gjentas under sammenlignbare forhold.

Hvordan hjelper Semantio med å oppdage merkevarehallusinasjoner?

Semantio er en forskningsplattform for analyse og overvåking av hvordan AI-systemer beskriver, sammenligner og anbefaler merkevarer.

Innenfor en studie kan brukere analysere fullstendige modellresponser, spesifikke påstander om merkevaren, kilder og sitater, tilskrevne produkter og egenskaper, enhetsforvekslinger, utdatert eller udokumentert informasjon, og forskjeller mellom scenarier og systemer.

Revisjonsmulighet er sentralt i prosessen. Brukere mottar ikke bare en samlet poengsum. De kan åpne en spesifikk respons, gjennomgå det relevante fragmentet og inspisere grunnlaget for klassifiseringen.

Denne tilnærmingen hjelper til med å skille en ekte hallusinasjon fra utdatert informasjon, utilstrekkelig bevis, en utelatelse, en overforenkling eller en posisjoneringsfeil.

En hallusinasjon er bare én type problem med merkevarerepresentasjon

Falsk informasjon er den mest iøynefallende kategorien av feil, men den dekker ikke hele problemet.

En merkevare kan være fraværende fra viktige scenarier, presentert i en utdatert kontekst, tildelt feil kategori, forvekslet med en annen enhet, beskrevet ved hjelp av udokumenterte påstander eller anbefalt til et uegnet publikum.

Analysen bør derfor ikke ende med spørsmålet: "Hallusinerer AI om vår merkevare?"

Hvordan representerer AI-systemer merkevaren, hvilke elementer av den representasjonen er nøyaktige, og hvor oppstår feil, utdatert informasjon, utelatelser og forvrengninger?

Synlighet alene svarer ikke på dette spørsmålet. En merkevare kan vises ofte og likevel være unøyaktig representert. Vi forklarer denne forskjellen i Hva er AI-merkevaresynlighet?.

Sjekk ikke bare om AI nevner merkevaren din, men om den får fakta riktig

En merkevarehallusinasjon er ikke en abstrakt teknisk feil. Den kan påvirke om en bruker anser et selskap for å eksistere, være troverdig og være relevant for deres behov.

Samtidig bør begrepet ikke utvides til ethvert svar som en merkevare er uenig i.

En troverdig diagnose krever at hele svaret bevares, den spesifikke påstanden trekkes ut, det korrekte referansematerialet identifiseres og usannhet skilles fra utilstrekkelig bevis, utdatert informasjon, utelatelse og anbefalingsmismatch.

Først da blir en hallusinasjon et problem som kan dokumenteres, overvåkes og adresseres.

Opprett en Semantio-konto og undersøk hvilken informasjon AI-systemer genererer om merkevaren din – sammen med fullstendige svar, kilder og grunnlag for vurdering.