Hva er LLM merkevareovervåking?

Det faktum at ChatGPT nevnte en merkevare i et svar i dag, betyr ikke at den vil gjøre det igjen neste uke. Vi vet heller ikke om Gemini, Claude, Perplexity eller et annet system ville gitt den samme anbefalingen.

Et enkelt svar kan gi en verdifull observasjon. Det er imidlertid ikke overvåking.

For å avgjøre om en merkevares tilstedeværelse, fremstilling eller posisjon i forhold til konkurrenter endrer seg, må vi gjenta sammenlignbare studier. Kun en serie målinger kan avsløre om et resultat er en isolert hendelse, en kortvarig svingning eller en endring som vedvarer over tid.

LLM merkevareovervåking er gjentatt utførelse av en definert studie og sammenligning av resultatene over tid. Studien bør dekke de samme enhetene, scenariene, målgruppene, markedene og vurderingskriteriene, mens eventuelle endringer i forskningsbetingelsene skal dokumenteres.

Overvåking er derfor ikke et spørsmål om å av og til spørre en modell om et selskap. Det er en forskningsprosess som krever en konsistent metodikk, bevart dokumentasjon og nøye tolkning.

Hva overvåker vi egentlig?

Det enkleste svaret er at vi overvåker hvordan generative systemer svarer på spørsmål som er viktige for en merkevare.

Dette er ikke begrenset til å sjekke om merkevarens navn vises. Som vi forklarer i vår artikkel om merkevarefremstilling i store språkmodeller, kan en merkevares fremstilling inkludere:

• om merkevaren er til stede eller fraværende i et svar;

• om den nevnes spontant, uten å bli navngitt i spørsmålet;

• om den anbefales til brukeren;

• attributtene, produktene og egenskapene som er knyttet til den;

• tonen og konteksten i svaret;

• målgruppene og bruksområdene merkevaren er assosiert med;

• konkurrentene som vises i samme kontekst;

• kildene som brukes eller siteres av systemet;

• faktiske feil, utdatert informasjon og hallusinasjoner.

Overvåking kan derfor dekke både merkevaresynlighet og kvaliteten på merkevarefremstillingen. Dette skillet er viktig. En merkevare kan nevnes ofte, men likevel dukke opp i feil kontekst, assosieres med et utdatert tilbud eller anbefales til en målgruppe den ikke lenger betjener.

Det er derfor verdt å måle merkevarens tilstedeværelse, anbefalinger, kontekst, faktanøyaktighet og forhold til konkurrenter separat. Prosentandelen av svar som inneholder et selskaps navn, gir ikke hele bildet. Vi utforsker dette skillet videre i vår guide til AI-merkevaresynlighet.

Overvåking versus en engangsrevisjon

En revisjon og løpende overvåking er ikke det samme, selv om en godt designet revisjon kan bli utgangspunktet for overvåking.

En revisjon svarer primært på spørsmålet: hvordan er merkevaren representert i dag? Den etablerer en grunnlinje, identifiserer problemer og fremhever områder som krever ytterligere observasjon.

Overvåking legger til tidsdimensjonen:

• Nevnes merkevaren oftere eller sjeldnere?

• Har dens andel av anbefalinger økt?

• Har tidligere oppdagede feil forsvunnet?

• Begynner nye produkter å dukke opp i svarene?

• Har en konkurrent tatt eierskap til et bestemt tema eller scenario?

• Har kommunikasjonsaktiviteter ført til en endring som kan observeres i påfølgende målinger?

Hvis den første revisjonen ble utført uten et klart definert spørsmålspanel, vurderingskriterier og svarregistreringer, kan det vise seg vanskelig å reprodusere den senere. En grunnlinjestudie bør derfor bruke en metodikk designet for repetisjon fra starten av.

Brand Semantics beskriver en praktisk tilnærming til å skape en slik grunnlinje i sin guide, How to run an AI visibility audit.

En revisjon gir et referansepunkt. Overvåking avslører retningen og omfanget av endring. Uten en troverdig grunnlinje er det imidlertid vanskelig å avgjøre om et senere resultat representerer en reell forbedring.

Overvåking versus responsstabilitet

Dette er et av de viktigste metodologiske skillene.

Overvåking sammenligner resultater samlet på forskjellige tidspunkter. En stabilitetstest undersøker hvor mye responsene varierer under lignende forhold innenfor samme forskningsperiode.

Hvis en merkevare dukket opp i seks av ti svar i januar og åtte av ti i februar, kan vi ikke automatisk konkludere med at synligheten økte. Vi må først forstå den naturlige variabiliteten innenfor hver måleperiode.

Forskning på modellevaluering viser at resultater kan være følsomme selv for omformulerte instruksjoner. Forfatterne av State of What Art? A Call for Multi-Prompt LLM Evaluation argumenterer for at evaluering basert på en enkelt spørsmålsformulering kan føre til overkonfidente konklusjoner.

Dette betyr ikke at hver studie må gjentas i det uendelige. Det betyr at metodikken bør reflektere risikoen og betydningen av beslutningen forskningen er ment å støtte.

En forskjell mellom to måleperioder er ikke automatisk en trend. Det kan indikere en, men vi må først skille den fra generativ variabilitet og endringer i forskningsbetingelsene.

Hvorfor kan resultater endre seg?

En endring i indikatoren betyr ikke alltid at merkevaren selv har endret seg. Flere mekanismer kan være ansvarlige.

Merkevarens informasjonsmiljø har endret seg

Nye artikler, rapporter, produktsider, anmeldelser, PR-materiale og konkurrentinnhold kan ha dukket opp. Andre kilder kan ha forsvunnet eller blitt utdaterte.

Disse endringene trenger ikke å stamme fra merkevaren selv. En konkurrent kan publisere klarere, mer komplett eller bedre tilknyttet informasjon og dermed begynne å dukke opp oftere i svar.

Systemet eller dets informasjonshentingsprosess har endret seg

Generative systemer kan bruke forskjellige modeller, søkekomponenter, spørsmålsutvidelsesteknikker og kildevalgsmekanismer. Google forklarer at AI Overviews og AI Mode kan bruke forskjellige modeller og teknikker, noe som betyr at både svarene og de støttende lenkene kan variere.

Hvis modellversjonen, grensesnittet eller tilgangen til aktuell webinformasjon endres, bør dette dokumenteres som en del av forskningsbetingelsene.

Forskningsbetingelsene har endret seg

Språk, sted, kontoinnstillinger, tilgang til websøk, spørsmålsformulering og settet med navngitte konkurrenter kan alle påvirke svaret.

«Hvilket verktøy skal jeg velge?» og «Hvilket er det beste verktøyet?» kan virke like, men de kan aktivere forskjellige evalueringskriterier. Hvis spørsmålene endres mellom måleperioder, jobber vi ikke lenger med nøyaktig det samme panelet.

Generativ variabilitet har påvirket resultatene

Språkmodeller produserer ikke alltid identiske svar. De kan velge forskjellige eksempler, endre rekkefølgen på en liste eller utelate en merkevare de nevnte i en tidligere kjøring.

Ikke enhver forskjell er bevis på en endret merkevarefremstilling.

Hva bør forbli konstant?

Vi kan ikke fryse systemene som studeres, men vi kan kontrollere kjernen i forskningen.

Følgende elementer bør forbli så konsistente som mulig:

• merkevaren og dens navnevarianter;

• produktene, tjenestene og andre enheter inkludert i studien;

• målgruppene og personaene;

• bruksområdene;

• stadiene i beslutningsprosessen;

• spørsmålspanelet og dets utførelsesregler;

• språket, markedet og stedet;

• systemene som testes;

• reglene for svarklassifisering;

• måten indikatorer beregnes på;

• de fullstendige svarene og datoene for hver måling.

Enhver uunngåelig endring bør registreres. Hvis nye spørsmål må introduseres, er det ofte bedre å legge dem til som en separat modul, samtidig som det faste sammenligningspanelet bevares.

En praktisk regel er å tilpasse studien når virksomheten krever det, men aldri omskrive dens historie. Behold tidligere definisjoner og resultater slik at du kan avgjøre om merkevaren endret seg, metodikken endret seg eller begge deler.

Hvor ofte bør merkevareovervåking utføres?

Det finnes ingen enkelt frekvens som passer for enhver organisasjon.

Månedlig overvåking kan være hensiktsmessig når:

• markedet endrer seg raskt;

• merkevaren driver intensiv kommunikasjon;

• nye produkter eller tjenester lanseres;

• konkurrenter er svært aktive;

• omdømmerisikoen er betydelig.

Kvartalsvis overvåking kan være tilstrekkelig for organisasjoner med et stabilt tilbud, lengre kjøpssykluser og et langsommere kommunikasjonstempo.

Ytterligere målinger kan være berettiget etter:

• en endring i posisjonering;

• en produktlansering eller inntreden i et nytt marked;

• en større redesign av nettsted eller innholdsarkitektur;

• en omdømmekrise;

• en fusjon, oppkjøp eller re-branding;

• en større kommunikasjonskampanje;

• en betydelig endring i et av systemene som overvåkes.

Hyppigere måling er ikke alltid bedre. Hvis resultatet svinger daglig, men organisasjonen tar beslutninger kvartalsvis, kan overdreven måling generere varsler i stedet for nyttig informasjon.

Overvåkingsplanen bør reflektere endringstakten, risikonivået og organisasjonens beslutningssyklus.

I et av våre prosjekter overvåket vi en sosial kampanje som ble gjennomført i begynnelsen av året. Det var et spesielt krevende kommunikasjonsvindu: den sesongbaserte bølgen av julerelatert veldedighet var akkurat i ferd med å avta, mens intensiv promotering rundt finalen av Great Orchestra of Christmas Charity (WOŚP) allerede dominerte offentlig og medieoppmerksomhet. Kampanjen måtte derfor konkurrere om synlighet mellom to eksepsjonelt sterke bølger av sosial kommunikasjon.

En konvensjonell måling før kampanjen og en annen etter den ville ikke ha avslørt nok om dynamikken i endringen. Vi økte frekvensen av målingene slik at vi mer presist kunne observere når kampanjens narrativ begynte å dukke opp i generative systemsvar. Samtidig utførte vi ytterligere utforskende sonderinger og varierte utvalgte forskningsparametere ved å erstatte noen av scenariene, samtidig som vi beholdt en fast sammenligningskjerne.

Dette gjorde det mulig for oss å skille bevegelse i kjerneindikatorene fra signaler som dukket opp i nyere, mer aktuelle kontekster. Prosjektet demonstrerte at høyere målefrekvens kan være nødvendig under eksepsjonelle omstendigheter, men det bør ikke bety å endre hele metodikken uten kontroll. Den stabile delen av studien bevarte sammenlignbarheten, mens de variable scenariene hjalp oss med å fange opp hvordan systemene reagerte etter hvert som kampanjen utviklet seg.

Hvordan skal en endring i resultater tolkes?

Vi bør aldri bare se på gjennomsnittsscoren.

Hvis synligheten stiger fra 40 % til 50 %, må vi undersøke:

• hvilke systemer som produserte endringen;

• hvilke personaer og scenarier som var ansvarlige;

• om merkevaren bare ble nevnt eller aktivt anbefalt;

• om informasjonen var korrekt;

• hva som skjedde med konkurrentene;

• om forbedringen var utbredt eller begrenset til et lite antall spørsmål;

• om antall observasjoner var tilstrekkelig til å støtte konklusjonen.

Hver indikator bør presenteres sammen med sin nevner. En endring fra ett positivt svar til to representerer en økning på 100 %, men er fortsatt basert på bare to svar.

Kvantitative resultater bør også ledsages av kvalitative bevis: det fullstendige svaret, dets kontekst, de nevnte konkurrentene, de siterte kildene og resonnementet som brukes av systemet.

Overvåking er ikke meningsmåling. Det beviser ikke at kunder oppfatter merkevaren på samme måte, og det demonstrerer heller ikke at en endring vil oversettes direkte til salg. Det viser hva utvalgte systemer genererte under definerte forskningsbetingelser.

En av våre studier ga en eksepsjonelt høy synlighetsscore for et hotellmerke i den aller første kjøringen. Resultatet var langt sterkere enn vi med rimelighet kunne ha forventet gitt eiendommens posisjon i markedet og dens korte historie – den hadde åpnet bare noen måneder tidligere.

Ved første øyekast så dataene ut som bevis på uvanlig rask kommunikasjonssuksess. Først en gjennomgang av de fullstendige svarene avslørte at språkmodellene feilaktig tilskrev eiendommen til en mye større internasjonal hotellkjede. På grunnlag av en delvis likhet i navnet eller konteksten, utledet systemene et forhold som ikke eksisterte.

Eiendommen fikk derfor synlighet som ikke var generert av dens egen informasjonsfotavtrykk. Det var synlighet skapt av feilidentifisering av enheter. Modellenes overtolkning resulterte i en betydelig overvurdering av de underliggende ytelsesindikatorene.

Dette tilfellet demonstrerte hvorfor analyse ikke kan stoppe ved en prosentandel. Hadde vi ikke gjennomgått svarene og måten enheten var identifisert på, ville vi ha presentert klienten et attraktivt, men fundamentalt misvisende bilde. En høy score indikerer ikke alltid en sterk posisjon – noen ganger avslører det et problem med enhetsoppløsning.

Hva bør vi gjøre når en endring oppdages?

En nyttig overvåkingsprosess bør føre til en beslutning, ikke bare til en ny graf.

1. Bekreft resultatet

Gjenta de relevante scenariene eller utfør en ekstra stabilitetskontroll. Avgjør om endringen vedvarer på tvers av systemer og tilsvarende spørsmålsformuleringer.

2. Finn endringen

Identifiser systemene, målgruppene, produktene, scenariene og stadiene i beslutningsreisen der forskjellen oppsto.

3. Klassifiser endringen

Avgjør om det gjelder:

• merkevarens tilstedeværelse;

• anbefaling;

• faktisk nøyaktighet;

• kontekst eller sentiment;

• konkurrentposisjonering;

• kilder;

• hallusinasjon eller feilidentifisering av enhet.

4. Sammenlign resultatet med den tiltenkte merkevareidentiteten

Spør om den fremvoksende representasjonen er i samsvar med hvordan organisasjonen ønsker å bli forstått.

5. Analyser kilder og informasjonsgap

Sjekk om relevant informasjon er tilgjengelig, oppdatert, eksplisitt og konsistent på tvers av merkevarens digitale økosystem.

Det er her tjenester som Semantic Health kan hjelpe med å identifisere motsetninger, manglende relasjoner og svakheter i merkevarens informasjonsinfrastruktur.

6. Velg riktig handling

Avhengig av diagnosen kan neste trinn innebære å korrigere faktisk informasjon, styrke enhetsrelasjoner, oppdatere produktinnhold, forbedre innholdsarkitektur eller publisere nytt evidensbasert materiale.

Der problemet gjelder hvordan informasjon er strukturert og tolket av AI-systemer, gir AI-First Content Engineering et rammeverk for å designe innhold rundt enheter, relasjoner og klart uttrykte påstander.

Den bredere rollen til denne infrastrukturen er forklart i Brand semantics as infrastructure for AI search.

7. Mål igjen

En korrigerende handling er ikke fullført når innholdet er publisert. Neste måling bør vurdere om den forventede endringen vises og om uønskede effekter har dukket opp andre steder.

Hvordan støtter Semantio merkevareovervåking?

Å kjøre en test manuelt er enkelt. Kompleksiteten øker når en studie inkluderer flere målgrupper, produkter, konkurrenter, scenarier og generative systemer – og når sammenlignbare poster må bevares over tid.

Semantio organiserer studien rundt merkevarens identitet. Det lar team definere produkter, målgrupper og konkurrenter, og deretter bygge testscenarier basert på disse enhetene.

Resultatene kan analyseres på tvers av hele studien, samt på nivået av individuelle spørsmål og systemer. Dette gjør det mulig å gå utover enkle nevningstall og inspisere bevisene bak indikatorene.

Plattformen fjerner ikke behovet for tolkning. Den støtter konsistent måling, strukturert sammenligning og bevaring av forskningsposter – elementene som kreves for at overvåking skal bli en repeterbar forretningsprosess i stedet for en samling skjermbilder.

Vil du etablere hvordan merkevaren din er representert i AI-systemer i dag og overvåke hvordan den representasjonen endrer seg? Opprett din Semantio-konto og sett opp din første grunnlinjemåling.

Ofte stilte spørsmål

Er LLM merkevareovervåking det samme som sosial lytting?

Nei. Sosial lytting analyserer innhold publisert av mennesker og organisasjoner på sosiale plattformer og andre offentlige kanaler. LLM-overvåking undersøker svar generert av AI-systemer som respons på definerte scenarier.

De to tilnærmingene kan utfylle hverandre, men de måler forskjellige fenomener.

Er det nok å regelmessig stille ChatGPT ett spørsmål?

Nei. Et enkelt spørsmål representerer ikke spekteret av målgrupper, behov, produkter, beslutningsstadier og konkurransekontekster som er relevante for en merkevare. Det gir heller ikke et tilstrekkelig grunnlag for å skille en trend fra vanlig respons-variabilitet.

Er høy synlighet alltid gunstig?

Nei. En merkevare kan være svært synlig fordi den blir feilrepresentert, forvekslet med en annen enhet eller nevnt i en ugunstig kontekst. Synlighet bør alltid analyseres sammen med nøyaktighet, relevans og anbefalingens art.

Vil oppdatering av et nettsted umiddelbart endre modellsvarene?

Ikke nødvendigvis. Endringer kan oppdages, behandles og reflekteres med forskjellige hastigheter, avhengig av systemet og mekanismene det bruker. Noen svar kan også stole på eksterne kilder i stedet for merkevarens egen nettside.

Kan overvåking identifisere årsaken til hver endring?

Nei. Den kan avsløre hvor og hvordan resultatet endret seg, men den gir ikke alltid definitive bevis på kausalitet. I mange tilfeller må årsaken utledes ved å kombinere responsanalyse, kildegjennomgang og kunnskap om endringer i merkevarens informasjonsmiljø.

Hva bør vi egentlig overvåke?

LLM merkevareovervåking er en repeterbar studie, ikke en samling av ad hoc chatbot-samtaler.

Verdien avhenger av:

• en klart definert grunnlinje;

• et stabilt panel av enheter og scenarier;

• dokumenterte forskningsbetingelser;

• å skille langsiktig endring fra respons-variabilitet;

• å analysere både indikatorer og de fullstendige underliggende bevisene;

• å koble funn med spesifikke forretnings- og kommunikasjonsbeslutninger.

Det viktigste spørsmålet er derfor ikke bare: «Nevnte modellen merkevaren vår?»

Det bør være:

Endrer måten AI-systemer representerer merkevaren vår seg over tid – og i så fall, hvor, i hvilken retning og med hvilke implikasjoner for publikum?