Wat is merkrepresentatie in grote taalmodellen?

Een merk kan verschijnen in een door AI gegenereerd antwoord en toch onjuist worden weergegeven.

Een model kan een bedrijf noemen, maar het in de verkeerde categorie plaatsen, het product aan de verkeerde doelgroep aanbevelen, het vergelijken met irrelevante concurrenten of verouderde informatie herhalen.

In elk geval is het merk zichtbaar. Het probleem is wat die zichtbaarheid eigenlijk betekent.

Controleren of een merk is genoemd, is daarom niet voldoende. Zichtbaarheid is één dimensie van merkrepresentatie, niet de volledige beschrijving ervan.

Definiëren van merkrepresentatie in LLM's

Merkrepresentatie in grote taalmodellen is de waarneembare manier waarop een specifiek op LLM gebaseerd systeem een merk identificeert, beschrijft, categoriseert, vergelijkt, aanbeveelt en zichtbaar onderbouwt in reactie op een gedefinieerd scenario, taal, tijd en omgeving.

Representatie omvat zowel wat in het antwoord verschijnt als eventuele significante weglatingen, vertekeningen of fouten. Het omvat:

• de rol die aan het merk is toegewezen;

• de producten, diensten en doelgroepen die ermee geassocieerd worden;

• de attributen die worden gebruikt om het te beschrijven;

• of en onder welke voorwaarden het wordt aanbevolen;

• de concurrenten waarmee het wordt vergeleken;

• de bronnen die naast het antwoord worden getoond;

• of de informatie actueel en feitelijk correct is.

Er is nog geen universeel aanvaarde academische definitie van LLM-merkrepresentatie. Onderzoek heeft de componenten afzonderlijk onderzocht, waaronder zichtbaarheid in generatieve engines, aanbevelingen, merkattributen, promptgevoeligheid, citaten en nauwkeurigheid. EMNLP-onderzoek heeft ook verschillen gedocumenteerd in hoe taalmodellen merken associëren en aanbevelen.

Merkrepresentatie brengt deze componenten samen als een multidimensionaal onderzoeksobject.

Wat observeren we eigenlijk?

Spreken over representatie "in een model" is een handige afkorting. In de praktijk komen gebruikers een breder systeem tegen dat kan omvatten:

• het onderliggende model;

• systeeminstructies;

• de vraag en het voorafgaande gesprek;

• de productinterface en de instellingen ervan;

• zoek- of ophaalmechanismen;

• beschikbare bronnen;

• het tijdstip waarop de query werd gedaan.

Niet elk model heeft internettoegang, gebruikt externe retrieval of toont citaten. Resultaten verkregen via een API kunnen ook verschillen van antwoorden die worden geproduceerd door een consumententoepassing met hetzelfde modelmerk.

Onderzoek naar Retrieval-Augmented Generation onderscheidt kennis die is gecodeerd in modelparameters van informatie die is opgehaald uit externe bronnen. Dit betekent niet dat elk commercieel systeem dezelfde architectuur gebruikt. Elke studie naar merkrepresentatie moet daarom specificeren welk model, systeem, interface en responsmodus werden getest.

We meten ook niet wat een model "denkt". Modellen hebben geen meningen in de menselijke zin. We observeren outputs en hun eigenschappen. Dit onderscheid helpt antropomorfe taal te vermijden, een zorg die is opgemerkt in het NIST Generative AI Profile.

Merkrepresentatie en gerelateerde concepten

Merkrepresentatie overlapt met bekende gebieden van marketing en onderzoek, maar is niet identiek aan een ervan.

Een traditionele zoekmachine presenteert documenten. Een generatief systeem kan één antwoord creëren waarin een merk wordt beschreven, weggelaten, vergeleken of aanbevolen. De aanwezigheid ervan mag niet worden gereduceerd tot een ander type rangschikking.

Zeven dimensies van merkrepresentatie

1. Aanwezigheid en entiteitsidentificatie

De eerste vraag is of het merk verschijnt. De tweede is of het systeem de juiste entiteit heeft geïdentificeerd.

Een model kan informatie over afzonderlijke organisaties combineren of een moederbedrijf, lokale dochteronderneming, productlijn en distributeur verwarren. Een naam die in een antwoord verschijnt, is daarom geen bewijs van correcte representatie. De entiteit en haar relaties moeten ook nauwkeurig zijn.

2. Rol, categorie en positie

Een merk kan verschijnen als een leverancier, fabrikant, expertbron, voorbeeld, partner, concurrent, alternatief of waarschuwing. Deze rollen zijn niet gelijkwaardig. Een bedrijf kan vaak worden genoemd als bron van branche-informatie, terwijl het nooit verschijnt onder aanbevolen leveranciers. Het kan ook in een categorie worden geplaatst waarmee het niet geassocieerd wil worden.

Representatie betreft niet alleen aanwezigheid, maar ook de functie die het merk binnen het antwoord vervult.

3. Producten, diensten en doelgroepen

Een systeem kan een vlaggenschipproduct kennen, terwijl het andere bedrijfstakken over het hoofd ziet. Het kan de B2B-diensten van het merk missen, een dienst aan de verkeerde doelgroep toewijzen of een regionaal aanbod beschrijven als wereldwijd beschikbaar.

De analyse moet daarom vragen welke producten en diensten aan het merk worden toegeschreven, welke afwezig blijven, welke klantbehoeften ermee worden geassocieerd en of de vermelde reikwijdte van het aanbod actueel is.

Twee antwoorden kunnen dezelfde naam noemen, terwijl ze twee wezenlijk verschillende versies van het merk beschrijven.

4. Aanbeveling en scenario-fit

Een merk noemen is niet hetzelfde als het aanbevelen. Een systeem kan het opnemen tussen vele opties, het op een shortlist plaatsen, het identificeren als de beste keuze, het voorwaardelijk aanbevelen, het afraden of het weglaten ondanks een sterke overeenkomst met de criteria.

Onderzoek gepresenteerd op CHI 2025 toonde aan dat subtiele veranderingen in de formulering kunnen beïnvloeden of doelconcepten en merken in aanbevelingen verschijnen. Dit betekent niet dat elke kleine promptwijziging een resultaat zal omkeren. Het toont wel aan waarom aanbeveling moet worden beoordeeld tegen een specifiek scenario, in plaats van te worden behandeld als een universele eigenschap van een model.

5. Attributen, framing en sentiment

Een merk kan worden beschreven als innovatief, toegankelijk, premium, lokaal, veilig, specialistisch of verouderd. Deze attributen bepalen het antwoord, maar een enkel sentimentlabel kan de hele representatie niet vastleggen.

Een positief antwoord kan nog steeds ongewenste positionering versterken. Een enterprise-provider kan bijvoorbeeld worden geprezen, maar uitsluitend worden beschreven als een goedkope optie voor kleine bedrijven. Analyse moet daarom toegewezen attributen, redenen voor selectie, voorbehouden, toon en afstemming op de geverifieerde positionering van het merk omvatten.

Positief sentiment garandeert geen nauwkeurige representatie.

6. Competitieve context

Modellen vergelijken een merk niet altijd met de concurrenten die het bedrijf zelf zou identificeren. Antwoorden kunnen directe rivalen, merken uit aangrenzende categorieën, providers die verschillende prijssegmenten bedienen, bedrijven die samen voorkomen in bronnen of organisaties die als functionele alternatieven worden behandeld, omvatten.

Dit onthult hoe het systeem de categorie en de beschikbare keuzes construeert. Een samen genoemd merk kan echter een partner, distributeur of bron zijn in plaats van een concurrent. Samen voorkomen, vergelijking en echte aanbeveling moeten worden onderscheiden.

7. Zichtbare bronnen en citaten

Waar bronnen worden weergegeven, kunnen deze de website van het merk, distributeurs, media, vergelijkingssites, documentatie, pagina's van concurrenten of verouderde materialen omvatten.

Twee waarschuwingen zijn noodzakelijk. Ten eerste onthullen zichtbare bronnen niet noodzakelijkerwijs elke factor die een antwoord heeft gevormd. Ten tweede bewijst een citaat niet dat de bron de bewering ernaast ondersteunt. Onderzoek naar verifieerbaarheid in generatieve zoekmachines behandelt de aanwezigheid van een citaat en de feitelijke ondersteuning ervan voor een verklaring als afzonderlijke vragen.

Een audit moet daarom zowel de oorsprong van een bron als de relatie ervan met de gemaakte bewering onderzoeken.

Niet elk probleem is een hallucinatie

Hallucinatie is het bekendste label voor generatieve AI-fouten, maar het moet niet elke ongunstige uitkomst beschrijven. NIST gebruikt de term "confabulatie" voor zelfverzekerd gepresenteerde valse of foutieve inhoud. Onderzoek naar merkrepresentatie vereist een bredere reeks categorieën:

• feitelijke hallucinatie – een bewering is in strijd met de feiten;

• ononderbouwde bewering – beschikbaar bewijs onderbouwt deze niet;

• verouderde informatie – een voorheen correcte verklaring is niet langer actueel;

• entiteitsverwarring – informatie over verschillende entiteiten wordt gecombineerd;

• classificatiefout – het merk wordt in de verkeerde categorie geplaatst;

• weglating – een significant feit of deel van het aanbod ontbreekt;

• vertekening of oversimplificatie – de verklaring verandert de betekenis zonder volledig onwaar te zijn;

• aanbevelingsmismatch – het merk wordt aanbevolen ondanks het niet voldoen aan de criteria;

• positioneringsmisalignement – de representatie wijkt af van de geverifieerde identiteit en huidige positionering van het merk.

Hallucinaties zijn een onderdeel van de bredere categorie van merkrepresentatieproblemen. Een valse bewering, ontbrekend product, verwarde entiteit en misplaatste aanbeveling vereisen verschillende reacties.

Waarom kan merkrepresentatie veranderen?

Gegenereerde antwoorden zijn afhankelijk van hun voorwaarden: formulering, gebruikersintentie, taal, locatie, gespreksgeschiedenis, model, interface, toegang tot zoeken, beschikbare bronnen, datum en de variabiliteit van de generatie zelf.

Een grote studie gepubliceerd in Transactions of the Association for Computational Linguistics toonde aan dat geparafraseerde instructies materieel verschillende modelresultaten kunnen opleveren. Het omvatte veel modellen en taken in plaats van alleen merken, maar levert sterk bewijs van promptgevoeligheid.

Drie fenomenen moeten daarom worden gescheiden:

• scenario- of promptgevoeligheid – de vraag wordt gewijzigd;

• outputvariabiliteit – hetzelfde scenario wordt herhaald onder dezelfde omstandigheden;

• verandering in de tijd – de test wordt herhaald nadat modellen, bronnen of merkinformatie mogelijk zijn gewijzigd.

Een enkel antwoord is bewijs van wat een specifiek systeem onder gedefinieerde omstandigheden heeft geretourneerd. Het is geen bewijs van een stabiele modelmening of een garantie voor toekomstige antwoorden.

Monitoring over de tijd is niet automatisch een test van stabiliteit. Het toont verschillen tussen metingen, maar vervangt geen herhaalde runs onder identieke omstandigheden.

Hoe moet merkrepresentatie worden bestudeerd?

Een verantwoord onderzoek moet beginnen met het definiëren van de entiteit en de referentie waartegen de resultaten zullen worden beoordeeld.

1. Definieer de merkidentiteit

Creëer een actueel overzicht van de organisatie, producten, diensten, doelgroepen, markten, attributen, concurrenten en feiten die onder de loep moeten worden genomen. Scheid feiten van aspiraties en promotionele claims.

2. Ontwerp realistische scenario's

Scenario's moeten echte informatie- of beslissingsbehoeften weerspiegelen: een provider vinden, oplossingen vergelijken, reputatie controleren, een product kiezen of alternatieven identificeren. Dit is geen conventionele trefwoordenlijst. Hetzelfde onderwerp kan verschillende scenario's vereisen voor verschillende doelgroepen en beslissingsfasen.

3. Leg de onderzoeksomgeving vast

Documenteer het model, de interface, de taal, de datum, internettoegang en het aantal runs. Zonder deze details wordt latere vergelijking onbetrouwbaar.

4. Bewaar het bewijs

Geaggregeerde resultaten mogen geen volledige antwoorden vervangen. Bewaar logs, relevante extracten, bronnen en citaten, zodat elke conclusie kan worden teruggevoerd op het bewijs.

5. Analyseer dimensies afzonderlijk

Aanwezigheid, aanbeveling, sentiment, attributen, concurrenten, bronnen en nauwkeurigheid beantwoorden verschillende vragen. Het combineren ervan tot één score kan het hoofdprobleem verbergen. Een zeer zichtbaar merk kan nog steeds in de verkeerde categorie worden geplaatst, aanbevelingen verliezen, worden beschreven met verouderde informatie of worden geassocieerd met de verkeerde doelgroep.

6. Vermeld de beperkingen

Conclusies moeten overeenkomen met de reikwijdte. Een studie van vijf modellen beschrijft niet elk AI-systeem; een test in één taal stelt geen identieke representatie vast in andere markten. Brand Semantics biedt een bredere gids voor het uitvoeren van een AI-zichtbaarheidsaudit op AI-zoekplatforms.

Wat kan dit onderzoek een merk vertellen?

Een goed ontworpen studie kan aantonen of een merk wordt herkend, welke rol het speelt, met welke behoeften en doelgroepen het wordt geassocieerd, wanneer het wordt aanbevolen, welke concurrenten verschijnen en waar fouten of vertekeningen optreden.

Het kan op zichzelf niet vaststellen wat elke gebruiker zal zien, hoe mensen het merk waarnemen, of een antwoord een aankoopbeslissing heeft veranderd of wat de directe verkoopsimpact zal zijn. Die vragen vereisen aanvullend verkeer, conversie, attributie of kwalitatief onderzoek.

Hoe analyseert Semantio merkrepresentatie?

Semantio is een onderzoeksplatform voor het analyseren en monitoren hoe grote taalmodellen merken beschrijven, vergelijken en aanbevelen – en waar ze fouten, onnauwkeurigheden of andere representatieproblemen genereren.

Onderzoek kan merkvermeldingen, rol, aanbevelingen, attributen, sentiment, producten, doelgroepen, concurrenten, bronnen en citaten omvatten, indien beschikbaar, evenals de consistentie van beweringen met de gedefinieerde identiteit van het merk.

Gebruikers kunnen van geaggregeerde bevindingen naar individuele antwoorden en hun ondersteunende bewijsmateriaal gaan. Merkrepresentatie wordt daarom niet gereduceerd tot een enkele rangschikking of ondoorzichtige score.

Maak een account aan en zie hoe taalmodellen uw merk vertegenwoordigen.

Veelgestelde vragen

Is merkrepresentatie hetzelfde als AI-zichtbaarheid?

Nee. Zichtbaarheid vraagt of een merk verschijnt. Representatie omvat ook de rol, aanbevelingen, attributen, aanbod, doelgroepen, concurrenten, bronnen en feitelijke nauwkeurigheid.

Heeft een LLM een stabiele mening over een merk?

Een dergelijke conclusie mag niet worden getrokken. Een antwoord is de output van een specifiek systeem onder specifieke omstandigheden en kan variëren per scenario, model, taal, bronnen en datum.

Kan een zeer zichtbaar merk toch slecht worden weergegeven?

Ja. Het kan vaak verschijnen, terwijl het in de verkeerde categorie wordt geplaatst, wordt geassocieerd met een verouderd aanbod of wordt aanbevolen aan de verkeerde doelgroep.

Is elk onjuist antwoord een hallucinatie?

Nee. Het probleem kan in plaats daarvan verouderde informatie, entiteitsverwarring, misclassificatie, weglating, oversimplificatie of een aanbeveling zijn die niet aan de criteria voldoet.