Wat is LLM-merkmonitoring?

Het feit dat ChatGPT vandaag een merk noemde in een antwoord, betekent niet dat het dat volgende week weer zal doen. Evenmin weten we of Gemini, Claude, Perplexity of een ander systeem dezelfde aanbeveling zou doen.

Een enkel antwoord kan een waardevolle observatie opleveren. Het is echter geen monitoring.

Om te bepalen of de aanwezigheid, weergave of positie van een merk ten opzichte van concurrenten verandert, moeten we vergelijkbare studies herhalen. Alleen een reeks metingen kan onthullen of een resultaat een geïsoleerde gebeurtenis, een kortstondige fluctuatie of een verandering is die in de loop van de tijd aanhoudt.

LLM-merkmonitoring is de herhaalde uitvoering van een gedefinieerde studie en de vergelijking van de resultaten ervan in de loop van de tijd. De studie moet dezelfde entiteiten, scenario's, doelgroepen, markten en beoordelingscriteria omvatten, terwijl eventuele wijzigingen in de onderzoeksomstandigheden moeten worden gedocumenteerd.

Monitoring is daarom geen kwestie van af en toe een model vragen over een bedrijf. Het is een onderzoeksproces dat een consistente methodologie, bewaard bewijs en zorgvuldige interpretatie vereist.

Wat monitoren we eigenlijk?

Het eenvoudigste antwoord is dat we monitoren hoe generatieve systemen reageren op vragen die belangrijk zijn voor een merk.

Dit is niet beperkt tot het controleren of de naam van het merk verschijnt. Zoals we uitleggen in ons artikel over merkvertegenwoordiging in grote taalmodellen, kan de vertegenwoordiging van een merk omvatten:

• of het merk aanwezig of afwezig is in een antwoord;

• of het spontaan wordt genoemd, zonder te worden genoemd in de prompt;

• of het aan de gebruiker wordt aanbevolen;

• de attributen, producten en mogelijkheden die ermee geassocieerd worden;

• de toon en context van het antwoord;

• de doelgroepen en gebruiksscenario's waarmee het merk geassocieerd wordt;

• de concurrenten die in dezelfde context verschijnen;

• de bronnen die door het systeem worden gebruikt of geciteerd;

• feitelijke fouten, verouderde informatie en hallucinaties.

Monitoring kan daarom zowel merkzichtbaarheid als de kwaliteit van merkvertegenwoordiging omvatten. Dit onderscheid is belangrijk. Een merk kan vaak worden genoemd, maar verschijnt in de verkeerde context, wordt geassocieerd met een verouderd aanbod of wordt aanbevolen aan een doelgroep die het niet langer bedient.

Het is daarom de moeite waard om merk aanwezigheid, aanbevelingen, context, feitelijke nauwkeurigheid en relaties met concurrenten afzonderlijk te meten. Het percentage antwoorden dat de naam van een bedrijf bevat, geeft geen volledig beeld. We verkennen dit onderscheid verder in onze gids voor AI-merkzichtbaarheid.

Monitoring versus een eenmalige audit

Een audit en doorlopende monitoring zijn niet hetzelfde, hoewel een goed ontworpen audit het startpunt kan zijn voor monitoring.

Een audit beantwoordt primair de vraag: hoe wordt het merk vandaag vertegenwoordigd? Het stelt een basislijn vast, identificeert problemen en belicht gebieden die verdere observatie vereisen.

Monitoring voegt de dimensie tijd toe:

• Wordt het merk vaker of minder vaak genoemd?

• Is het aandeel aanbevelingen toegenomen?

• Zijn eerder gedetecteerde fouten verdwenen?

• Beginnen nieuwe producten te verschijnen in antwoorden?

• Heeft een concurrent een bepaald onderwerp of scenario overgenomen?

• Hebben communicatieactiviteiten een verandering teweeggebracht die kan worden waargenomen in latere metingen?

Als de initiële audit werd uitgevoerd zonder een duidelijk gedefinieerd vragenpanel, beoordelingscriteria en antwoordregistraties, kan het later moeilijk zijn om deze te reproduceren. Een basisstudie moet daarom vanaf het begin een methodologie gebruiken die is ontworpen voor herhaling.

Brand Semantics beschrijft een praktische benadering voor het creëren van zo'n basislijn in zijn gids, Hoe een AI-zichtbaarheidsaudit uit te voeren.

Een audit biedt een referentiepunt. Monitoring onthult de richting en omvang van de verandering. Zonder een geloofwaardige basislijn is het echter moeilijk te bepalen of een later resultaat een echte verbetering vertegenwoordigt.

Monitoring versus antwoordstabiliteit

Dit is een van de belangrijkste methodologische onderscheidingen.

Monitoring vergelijkt resultaten die op verschillende tijdstippen zijn verzameld. Een stabiliteitstest onderzoekt hoeveel antwoorden variëren onder vergelijkbare omstandigheden binnen dezelfde onderzoeksperiode.

Als een merk in januari in zes van de tien antwoorden verscheen en in februari in acht van de tien, kunnen we niet automatisch concluderen dat de zichtbaarheid is toegenomen. We moeten eerst de natuurlijke variabiliteit binnen elke meetperiode begrijpen.

Onderzoek naar model evaluatie toont aan dat resultaten zelfs gevoelig kunnen zijn voor geparafraseerde instructies. De auteurs van State of What Art? A Call for Multi-Prompt LLM Evaluation stellen dat evaluatie op basis van een enkele promptformulering kan leiden tot overmoedige conclusies.

Dit betekent niet dat elke studie oneindig moet worden herhaald. Het betekent dat de methodologie het risico en de betekenis van de beslissing die het onderzoek moet ondersteunen, moet weerspiegelen.

Een verschil tussen twee meetperioden is niet automatisch een trend. Het kan er een aangeven, maar we moeten het eerst onderscheiden van generatieve variabiliteit en veranderingen in de onderzoeksomstandigheden.

Waarom kunnen resultaten veranderen?

Een verandering in de indicator betekent niet altijd dat het merk zelf is veranderd. Verschillende mechanismen kunnen hiervoor verantwoordelijk zijn.

De informatieomgeving van het merk is veranderd

Nieuwe artikelen, rapporten, productpagina's, recensies, PR-materialen en content van concurrenten kunnen zijn verschenen. Andere bronnen kunnen zijn verdwenen of verouderd zijn.

Deze veranderingen hoeven niet van het merk zelf afkomstig te zijn. Een concurrent kan duidelijkere, completere of beter verbonden informatie publiceren en daardoor vaker in antwoorden verschijnen.

Het systeem of het informatie-ophaalproces is veranderd

Generatieve systemen kunnen verschillende modellen, zoekcomponenten, query-uitbreidingstechnieken en bronselectiemechanismen gebruiken. Google legt uit dat AI Overviews en AI Mode verschillende modellen en technieken kunnen gebruiken, wat betekent dat zowel de antwoorden als de ondersteunende links kunnen variëren.

Als de modelversie, interface of toegang tot actuele webinformatie verandert, moet dit worden gedocumenteerd als onderdeel van de onderzoeksomstandigheden.

De onderzoeksomstandigheden zijn veranderd

Taal, locatie, accountinstellingen, toegang tot webzoekopdrachten, vraagformulering en de set van genoemde concurrenten kunnen allemaal de respons beïnvloeden.

"Welke tool moet ik kiezen?" en "Welke is de beste tool?" lijken misschien op elkaar, maar ze kunnen verschillende evaluatiecriteria activeren. Als prompts veranderen tussen meetperioden, werken we niet langer met exact hetzelfde panel.

Generatieve variabiliteit heeft de resultaten beïnvloed

Taalmodellen produceren niet altijd identieke antwoorden. Ze kunnen verschillende voorbeelden selecteren, de volgorde van een lijst wijzigen of een merk weglaten dat ze in een vorige run hebben genoemd.

Niet elk verschil is bewijs van een veranderde merkvertegenwoordiging.

Wat moet constant blijven?

We kunnen de bestudeerde systemen niet bevriezen, maar we kunnen de kern van het onderzoek wel controleren.

De volgende elementen moeten zo consistent mogelijk blijven:

• het merk en zijn naamvarianten;

• de producten, diensten en andere entiteiten die in de studie zijn opgenomen;

• de doelgroepen en persona's;

• de gebruiksscenario's;

• de stadia van het besluitvormingsproces;

• het vragenpanel en de uitvoeringsregels ervan;

• de taal, markt en locatie;

• de geteste systemen;

• de classificatieregels voor antwoorden;

• de manier waarop indicatoren worden berekend;

• de volledige antwoorden en datums van elke meting.

Elke onvermijdelijke verandering moet worden vastgelegd. Als nieuwe vragen moeten worden geïntroduceerd, is het vaak beter om deze als een afzonderlijke module toe te voegen, terwijl het vaste vergelijkende panel behouden blijft.

Een praktische regel is om de studie aan te passen wanneer het bedrijf dit vereist, maar nooit de geschiedenis ervan te herschrijven. Bewaar eerdere definities en resultaten, zodat u kunt bepalen of het merk is veranderd, de methodologie is veranderd of beide zijn veranderd.

Hoe vaak moet merkmonitoring worden uitgevoerd?

Er is geen enkele frequentie die geschikt is voor elke organisatie.

Maandelijkse monitoring kan passend zijn wanneer:

• de markt snel verandert;

• het merk intensief communiceert;

• nieuwe producten of diensten worden gelanceerd;

• concurrenten zeer actief zijn;

• reputationeel risico aanzienlijk is.

Kwartaalmonitoring kan voldoende zijn voor organisaties met een stabiel aanbod, langere aankoopcycli en een trager communicatietempo.

Aanvullende metingen kunnen gerechtvaardigd zijn na:

• een verandering in positionering;

• een productlancering of toetreding tot een nieuwe markt;

• een grote website- of contentarchitectuur-herontwerp;

• een reputatiecrisis;

• een fusie, overname of rebranding;

• een grote communicatiecampagne;

• een significante verandering in een van de gemonitorde systemen.

Vaker meten is niet altijd beter. Als het resultaat dagelijks fluctueert, maar de organisatie kwartaalbeslissingen neemt, kan overmatige meting eerder waarschuwingen dan nuttige informatie genereren.

Het monitoringschema moet het tempo van verandering, het risiconiveau en de besluitvormingscyclus van de organisatie weerspiegelen.

In een van onze projecten hebben we een sociale campagne gemonitord die aan het begin van het jaar werd uitgevoerd. Het was een bijzonder veeleisend communicatievenster: de seizoensgolf van kerstgerelateerde liefdadigheidsacties was net aan het afnemen, terwijl de intensieve promotie rond de finale van het Grote Orkest van Kerstliefdadigheid (WOŚP) al de publieke en media-aandacht domineerde. De campagne moest daarom concurreren om zichtbaarheid tussen twee uitzonderlijk sterke golven van sociale communicatie.

Een conventionele meting vóór de campagne en een andere erna zouden niet genoeg hebben onthuld over de dynamiek van verandering. We verhoogden de frequentie van metingen, zodat we preciezer konden observeren wanneer het campagnearratief begon te verschijnen in de antwoorden van generatieve systemen. Tegelijkertijd voerden we aanvullende verkennende onderzoeken uit en varieerden we geselecteerde onderzoeksparameters door enkele scenario's te vervangen, terwijl we een vaste vergelijkende kern behielden.

Dit stelde ons in staat om beweging in de kernindicatoren te onderscheiden van signalen die opkwamen in nieuwere, meer actuele contexten. Het project toonde aan dat een hogere meetfrequentie noodzakelijk kan zijn in uitzonderlijke omstandigheden, maar het mag niet betekenen dat de hele methodologie zonder controle wordt gewijzigd. Het stabiele deel van de studie behield de vergelijkbaarheid, terwijl de variabele scenario's ons hielpen vast te leggen hoe de systemen reageerden naarmate de campagne zich ontwikkelde.

Hoe moet een verandering in resultaten worden geïnterpreteerd?

We moeten nooit alleen naar de gemiddelde score kijken.

Als de zichtbaarheid stijgt van 40% naar 50%, moeten we onderzoeken:

• welke systemen de verandering hebben veroorzaakt;

• welke persona's en scenario's verantwoordelijk waren;

• of het merk alleen werd genoemd of actief werd aanbevolen;

• of de informatie correct was;

• wat er met concurrenten is gebeurd;

• of de verbetering wijdverspreid was of beperkt tot een klein aantal vragen;

• of het aantal observaties voldoende was om de conclusie te ondersteunen.

Elke indicator moet worden gepresenteerd samen met zijn noemer. Een verandering van één positief antwoord naar twee vertegenwoordigt een toename van 100%, maar is nog steeds gebaseerd op slechts twee antwoorden.

Kwantitatieve resultaten moeten ook vergezeld gaan van kwalitatief bewijs: het volledige antwoord, de context ervan, de genoemde concurrenten, de geciteerde bronnen en de redenering die door het systeem is gebruikt.

Monitoring is geen publieke opinieonderzoek. Het bewijst niet dat klanten het merk op dezelfde manier waarnemen, noch toont het aan dat een verandering direct zal leiden tot verkoop. Het toont wat geselecteerde systemen genereerden onder gedefinieerde onderzoeksomstandigheden.

Een van onze studies leverde een uitzonderlijk hoge zichtbaarheidsscore op voor een horecamerk in de allereerste run. Het resultaat was veel sterker dan we redelijkerwijs hadden kunnen verwachten gezien de positie van het pand op de markt en zijn korte geschiedenis – het was slechts enkele maanden eerder geopend.

Op het eerste gezicht leken de gegevens bewijs van ongewoon snel communicatiesucces. Pas na een beoordeling van de volledige antwoorden bleek dat de taalmodellen het pand onjuist toeschreven aan een veel grotere internationale hotelketen. Op basis van een gedeeltelijke gelijkenis in de naam of context leidden de systemen een relatie af die niet bestond.

Het pand kreeg daarom zichtbaarheid die niet was gegenereerd door zijn eigen informatievoetafdruk. Het was zichtbaarheid gecreëerd door entiteitsmisidentificatie. De overinterpretatie van de modellen resulteerde in een aanzienlijke overschatting van de onderliggende prestatie-indicatoren.

Dit geval toonde aan waarom analyse niet kan stoppen bij een percentage. Als we de antwoorden en de manier waarop de entiteit was geïdentificeerd niet hadden beoordeeld, zouden we de klant een aantrekkelijk maar fundamenteel misleidend beeld hebben gepresenteerd. Een hoge score duidt niet altijd op een sterke positie – soms legt het een entiteitsresolutieprobleem bloot.

Wat moeten we doen als een verandering wordt gedetecteerd?

Een nuttig monitoringproces moet leiden tot een beslissing, niet slechts tot een nieuwe grafiek.

1. Bevestig het resultaat

Herhaal de relevante scenario's of voer een aanvullende stabiliteitscontrole uit. Bepaal of de verandering aanhoudt over systemen en equivalente promptformuleringen.

2. Lokaliseer de verandering

Identificeer de systemen, doelgroepen, producten, scenario's en stadia van de beslissingsreis waarin het verschil optrad.

3. Classificeer de verandering

Bepaal of het gaat om:

• merk aanwezigheid;

• aanbeveling;

• feitelijke nauwkeurigheid;

• context of sentiment;

• positionering van concurrenten;

• bronnen;

• hallucinatie of entiteitsmisidentificatie.

4. Vergelijk het resultaat met de beoogde merkidentiteit

Vraag of de opkomende vertegenwoordiging consistent is met hoe de organisatie begrepen wil worden.

5. Analyseer bronnen en informatiehiaten

Controleer of de relevante informatie beschikbaar, actueel, expliciet en consistent is in het digitale ecosysteem van het merk.

Hier kunnen diensten zoals Semantic Health helpen bij het identificeren van tegenstrijdigheden, ontbrekende relaties en zwakke punten in de informatie-infrastructuur van het merk.

6. Selecteer de juiste actie

Afhankelijk van de diagnose kan de volgende stap het corrigeren van feitelijke informatie, het versterken van entiteitsrelaties, het bijwerken van productcontent, het verbeteren van de contentarchitectuur of het publiceren van nieuwe op bewijs gebaseerde materialen omvatten.

Waar het probleem betrekking heeft op hoe informatie is gestructureerd en geïnterpreteerd door AI-systemen, biedt AI-First Content Engineering een raamwerk voor het ontwerpen van content rond entiteiten, relaties en duidelijk uitgedrukte claims.

De bredere rol van deze infrastructuur wordt uitgelegd in Merksemantiek als infrastructuur voor AI-zoekopdrachten.

7. Meet opnieuw

Een corrigerende actie is niet voltooid wanneer de content is gepubliceerd. De volgende meting moet beoordelen of de verwachte verandering verschijnt en of er onbedoelde effecten elders zijn opgetreden.

Hoe ondersteunt Semantio merkmonitoring?

Eén test handmatig uitvoeren is eenvoudig. De complexiteit neemt toe wanneer een studie meerdere doelgroepen, producten, concurrenten, scenario's en generatieve systemen omvat – en wanneer vergelijkbare records in de loop van de tijd moeten worden bewaard.

Semantio organiseert de studie rond de identiteit van het merk. Het stelt teams in staat producten, doelgroepen en concurrenten te definiëren en vervolgens testscenario's op te bouwen op basis van deze entiteiten.

De resultaten kunnen worden geanalyseerd over de hele studie, evenals op het niveau van individuele vragen en systemen. Dit maakt het mogelijk om verder te gaan dan eenvoudige vermeldingen en het bewijs achter de indicatoren te inspecteren.

Het platform neemt de noodzaak van interpretatie niet weg. Het ondersteunt consistente metingen, gestructureerde vergelijking en het bewaren van onderzoeksgegevens – de elementen die nodig zijn om monitoring een herhaalbaar bedrijfsproces te maken in plaats van een verzameling screenshots.

Wilt u vaststellen hoe uw merk vandaag wordt vertegenwoordigd in AI-systemen en monitoren hoe die vertegenwoordiging verandert? Maak uw Semantio-account aan en stel uw eerste basislijnmeting in.

Veelgestelde vragen

Is LLM-merkmonitoring hetzelfde als social listening?

Nee. Social listening analyseert content die door mensen en organisaties wordt gepubliceerd op sociale platforms en andere openbare kanalen. LLM-monitoring onderzoekt antwoorden die door AI-systemen worden gegenereerd in reactie op gedefinieerde scenario's.

De twee benaderingen kunnen elkaar aanvullen, maar ze meten verschillende fenomenen.

Is het regelmatig stellen van één vraag aan ChatGPT voldoende?

Nee. Een enkele vraag vertegenwoordigt niet het scala aan doelgroepen, behoeften, producten, beslissingsfasen en concurrentiecontexten die relevant zijn voor een merk. Het biedt ook geen voldoende basis om een trend te onderscheiden van gewone variabiliteit in antwoorden.

Is hoge zichtbaarheid altijd gunstig?

Nee. Een merk kan zeer zichtbaar zijn omdat het verkeerd wordt voorgesteld, verward wordt met een andere entiteit of wordt genoemd in een ongunstige context. Zichtbaarheid moet altijd worden geanalyseerd samen met nauwkeurigheid, relevantie en de aard van de aanbeveling.

Zal het bijwerken van een website onmiddellijk de modelantwoorden veranderen?

Niet noodzakelijkerwijs. Veranderingen kunnen met verschillende snelheden worden ontdekt, verwerkt en weerspiegeld, afhankelijk van het systeem en de mechanismen die het gebruikt. Sommige antwoorden kunnen ook afhankelijk zijn van externe bronnen in plaats van de eigen website van het merk.

Kan monitoring de oorzaak van elke verandering identificeren?

Nee. Het kan onthullen waar en hoe het resultaat is veranderd, maar het levert niet altijd definitief bewijs van causaliteit. In veel gevallen moet de oorzaak worden afgeleid door een combinatie van responsanalyse, bronbeoordeling en kennis van veranderingen in de informatieomgeving van het merk.

Wat moeten we eigenlijk monitoren?

LLM-merkmonitoring is een herhaalbare studie, geen verzameling ad-hoc chatbotgesprekken.

De waarde ervan hangt af van:

• een duidelijk gedefinieerde basislijn;

• een stabiel panel van entiteiten en scenario's;

• gedocumenteerde onderzoeksomstandigheden;

• het onderscheiden van langetermijnverandering van responsvariabiliteit;

• het analyseren van zowel indicatoren als het volledige onderliggende bewijs;

• het verbinden van bevindingen met specifieke bedrijfs- en communicatiebeslissingen.

De belangrijkste vraag is daarom niet simpelweg: "Heeft het model ons merk genoemd?"

Het zou moeten zijn:

Verandert de manier waarop AI-systemen ons merk vertegenwoordigen in de loop van de tijd – en zo ja, waar, in welke richting en met welke implicaties voor het publiek?