Qu'est-ce que la représentation de marque dans les grands modèles linguistiques ?

Une marque peut apparaître dans une réponse générée par l'IA et être néanmoins représentée de manière incorrecte.

Un modèle peut mentionner une entreprise mais la placer dans la mauvaise catégorie, recommander son produit à la mauvaise audience, la comparer à des concurrents non pertinents ou répéter des informations obsolètes.

Dans chaque cas, la marque est visible. Le problème est ce que cette visibilité signifie réellement.

Vérifier si une marque a été mentionnée n'est donc pas suffisant. La visibilité est une dimension de la représentation de marque, pas sa description complète.

Définir la représentation de marque dans les LLM

La représentation de marque dans les grands modèles linguistiques est la manière observable dont un système basé sur un LLM particulier identifie, décrit, catégorise, compare, recommande et justifie visiblement une marque en réponse à un scénario, une langue, un temps et un environnement définis.

La représentation inclut à la fois ce qui apparaît dans la réponse et toute omission, distorsion ou erreur significative. Elle couvre :

• le rôle attribué à la marque ;

• les produits, services et audiences qui lui sont associés ;

• les attributs utilisés pour la décrire ;

• si et dans quelles conditions elle est recommandée ;

• les concurrents avec lesquels elle est comparée ;

• les sources affichées à côté de la réponse ;

• si l'information est actuelle et factuellement correcte.

Il n'existe pas encore de définition académique universellement acceptée de la représentation de marque par les LLM. La recherche a examiné ses composantes séparément, y compris la visibilité dans les moteurs génératifs, les recommandations, les attributs de marque, la sensibilité aux invites, les citations et la précision. La recherche EMNLP a également documenté les différences dans la manière dont les modèles linguistiques associent et recommandent les marques.

La représentation de marque rassemble ces composantes comme un objet de recherche multidimensionnel.

Qu'observons-nous réellement ?

Parler de représentation « dans un modèle » est une commodité. En pratique, les utilisateurs rencontrent un système plus large qui peut inclure :

• le modèle sous-jacent ;

• les instructions du système ;

• la question et la conversation précédente ;

• l'interface du produit et ses paramètres ;

• les mécanismes de recherche ou de récupération ;

• les sources disponibles ;

• le moment où la requête a été effectuée.

Tous les modèles n'ont pas accès à Internet, n'utilisent pas de récupération externe ou n'affichent pas de citations. Les résultats obtenus via une API peuvent également différer des réponses produites par une application grand public utilisant la même marque de modèle.

La recherche sur la Génération Augmentée par Récupération (RAG) distingue les connaissances encodées dans les paramètres du modèle des informations récupérées à partir de ressources externes. Cela ne signifie pas que chaque système commercial utilise la même architecture. Toute étude de représentation de marque doit donc spécifier quel modèle, système, interface et mode de réponse ont été testés.

Nous ne mesurons pas non plus ce qu'un modèle « pense ». Les modèles n'ont pas d'opinions au sens humain. Nous observons des sorties et leurs propriétés. Cette distinction permet d'éviter le langage anthropomorphique, une préoccupation notée dans le Profil d'IA Générative du NIST.

Représentation de marque et concepts connexes

La représentation de marque chevauche des domaines familiers du marketing et de la recherche, mais elle n'est identique à aucun d'entre eux.

Un moteur de recherche traditionnel présente des documents. Un système génératif peut créer une réponse unique dans laquelle une marque est décrite, omise, comparée ou recommandée. Sa présence ne doit pas être réduite à un autre type de classement.

Sept dimensions de la représentation de marque

1. Présence et identification d'entité

La première question est de savoir si la marque apparaît. La seconde est de savoir si le système a identifié la bonne entité.

Un modèle peut combiner des informations sur des organisations distinctes ou confondre une société mère, une filiale locale, une ligne de produits et un distributeur. Un nom apparaissant dans une réponse n'est donc pas une preuve de représentation correcte. L'entité et ses relations doivent également être exactes.

2. Rôle, catégorie et position

Une marque peut apparaître comme fournisseur, fabricant, source experte, exemple, partenaire, concurrent, alternative ou avertissement. Ces rôles ne sont pas équivalents. Une entreprise peut être citée fréquemment comme source d'informations sectorielles sans jamais apparaître parmi les fournisseurs recommandés. Elle peut également être placée dans une catégorie avec laquelle elle ne souhaite pas être associée.

La représentation concerne non seulement la présence, mais aussi la fonction que la marque remplit dans la réponse.

3. Produits, services et audiences

Un système peut connaître un produit phare tout en négligeant d'autres lignes d'activité. Il peut manquer les services B2B de la marque, attribuer un service à la mauvaise audience ou décrire une offre régionale comme étant disponible mondialement.

L'analyse doit donc se demander quels produits et services sont attribués à la marque, lesquels restent absents, quels besoins clients lui sont associés et si la portée déclarée de l'offre est actuelle.

Deux réponses peuvent mentionner le même nom tout en décrivant deux versions substantiellement différentes de la marque.

4. Recommandation et adéquation au scénario

Mentionner une marque n'est pas la même chose que la recommander. Un système peut l'inclure parmi de nombreuses options, la placer sur une liste restreinte, l'identifier comme le meilleur choix, la recommander sous conditions, la déconseiller ou l'omettre malgré une forte adéquation avec les critères.

Des recherches présentées à CHI 2025 ont montré que de subtils changements de formulation peuvent affecter l'apparition de concepts et de marques cibles dans les recommandations. Cela ne signifie pas que chaque petite modification d'invite inversera un résultat. Cela montre pourquoi la recommandation doit être évaluée par rapport à un scénario particulier, plutôt que d'être traitée comme une propriété universelle d'un modèle.

5. Attributs, cadrage et sentiment

Une marque peut être décrite comme innovante, accessible, premium, locale, sûre, spécialisée ou dépassée. Ces attributs façonnent la réponse, mais une seule étiquette de sentiment ne peut pas capturer l'ensemble de la représentation.

Une réponse positive peut toujours renforcer un positionnement indésirable. Par exemple, un fournisseur d'entreprise pourrait être loué mais décrit exclusivement comme une option à faible coût pour les petites entreprises. L'analyse doit donc couvrir les attributs assignés, les raisons de la sélection, les mises en garde, le ton et l'alignement avec le positionnement vérifié de la marque.

Un sentiment positif ne garantit pas une représentation précise.

6. Contexte concurrentiel

Les modèles ne comparent pas toujours une marque avec les concurrents que l'entreprise elle-même identifierait. Les réponses peuvent inclure des rivaux directs, des marques de catégories adjacentes, des fournisseurs servant des segments de prix différents, des entreprises qui co-apparaissent dans les sources ou des organisations traitées comme des alternatives fonctionnelles.

Cela révèle comment le système construit la catégorie et l'ensemble des choix disponibles. Cependant, une marque co-mentionnée peut être un partenaire, un distributeur ou une source plutôt qu'un concurrent. La co-occurrence, la comparaison et la recommandation authentique doivent être distinguées.

7. Sources visibles et citations

Lorsque les sources sont affichées, elles peuvent inclure le site web de la marque, des distributeurs, des médias, des sites de comparaison, de la documentation, des pages de concurrents ou des documents obsolètes.

Deux précautions sont nécessaires. Premièrement, les sources visibles ne révèlent pas nécessairement tous les facteurs qui ont façonné une réponse. Deuxièmement, une citation ne prouve pas que la source soutient l'affirmation qui l'accompagne. La recherche sur la vérifiabilité dans les moteurs de recherche génératifs traite la présence d'une citation et son soutien réel à une déclaration comme des questions distinctes.

Un audit doit donc examiner à la fois l'origine d'une source et sa relation avec l'affirmation faite.

Tous les problèmes ne sont pas des hallucinations

L'hallucination est l'étiquette la plus connue pour les erreurs d'IA générative, mais elle ne devrait pas décrire tous les résultats défavorables. Le NIST utilise le terme « confabulation » pour un contenu faux ou erroné présenté avec confiance. La recherche sur la représentation de marque nécessite un ensemble plus large de catégories :

• hallucination factuelle – une affirmation est en conflit avec les faits ;

• affirmation non étayée – les preuves disponibles ne la confirment pas ;

• information obsolète – une déclaration autrefois correcte n'est plus d'actualité ;

• fusion d'entités – des informations sur différentes entités sont combinées ;

• erreur de classification – la marque est placée dans la mauvaise catégorie ;

• omission – un fait significatif ou une partie de l'offre est absent ;

• distorsion ou simplification excessive – la déclaration modifie le sens sans être entièrement fausse ;

• inadéquation de recommandation – la marque est recommandée malgré le non-respect des critères ;

• désalignement de positionnement – la représentation diverge de l'identité vérifiée et du positionnement actuel de la marque.

Les hallucinations font partie de la catégorie plus large des problèmes de représentation de marque. Une fausse affirmation, un produit manquant, une entité confuse et une recommandation mal placée nécessitent des réponses différentes.

Pourquoi la représentation de marque peut-elle changer ?

Les réponses générées dépendent de leurs conditions : formulation, intention de l'utilisateur, langue, localisation, historique de conversation, modèle, interface, accès à la recherche, sources disponibles, date et variabilité de la génération elle-même.

Une vaste étude publiée dans Transactions of the Association for Computational Linguistics a révélé que des instructions paraphrasées peuvent produire des résultats de modèle matériellement différents. Elle couvrait de nombreux modèles et tâches plutôt que les marques seules, mais fournit des preuves solides de la sensibilité aux invites.

Trois phénomènes doivent donc être distingués :

• sensibilité au scénario ou à l'invite – la question est modifiée ;

• variabilité de la sortie – le même scénario est répété dans les mêmes conditions ;

• changement au fil du temps – le test est répété après que les modèles, les sources ou les informations de marque ont pu changer.

Une seule réponse est la preuve de ce qu'un système particulier a renvoyé dans des conditions définies. Ce n'est pas la preuve d'une opinion stable du modèle ou une garantie de réponses futures.

Le suivi dans le temps n'est pas automatiquement un test de stabilité. Il montre les différences entre les mesures mais ne remplace pas les exécutions répétées dans des conditions identiques.

Comment étudier la représentation de marque ?

Une étude responsable devrait commencer par définir l'entité et la référence par rapport à laquelle les résultats seront évalués.

1. Définir l'identité de la marque

Créez un enregistrement actuel de l'organisation, des produits, services, audiences, marchés, attributs, concurrents et faits nécessitant un examen. Séparez les faits des aspirations et des affirmations promotionnelles.

2. Concevoir des scénarios réalistes

Les scénarios doivent refléter de véritables besoins d'information ou de décision : trouver un fournisseur, comparer des solutions, vérifier la réputation, choisir un produit ou identifier des alternatives. Il ne s'agit pas d'une liste de mots-clés conventionnelle. Le même sujet peut nécessiter des scénarios différents pour différentes audiences et étapes de décision.

3. Enregistrer l'environnement de recherche

Documentez le modèle, l'interface, la langue, la date, l'accès à Internet et le nombre d'exécutions. Sans ces détails, une comparaison ultérieure devient peu fiable.

4. Préserver les preuves

Les résultats agrégés ne doivent pas remplacer les réponses complètes. Conservez les journaux, les extraits pertinents, les sources et les citations afin que chaque conclusion puisse être retracée jusqu'à sa preuve.

5. Analyser les dimensions séparément

La présence, la recommandation, le sentiment, les attributs, les concurrents, les sources et la précision répondent à des questions différentes. Les combiner en un seul score peut masquer le problème principal. Une marque très visible peut toujours être assignée à la mauvaise catégorie, perdre des recommandations, être décrite à l'aide d'informations obsolètes ou être associée à la mauvaise audience.

6. Énoncer les limitations

Les conclusions doivent correspondre à la portée. Une étude de cinq modèles ne décrit pas tous les systèmes d'IA ; un test dans une langue n'établit pas une représentation identique sur d'autres marchés. Brand Semantics fournit un guide plus large pour réaliser un audit de visibilité IA sur les plateformes de recherche IA.

Que peut apporter cette recherche à une marque ?

Une étude bien conçue peut montrer si une marque est reconnue, quel rôle elle joue, à quels besoins et audiences elle est associée, quand elle est recommandée, quels concurrents apparaissent et où des erreurs ou des distorsions se produisent.

Elle ne peut pas, à elle seule, établir ce que chaque utilisateur verra, comment les gens perçoivent la marque, si une réponse a modifié une décision d'achat ou quel sera son impact direct sur les ventes. Ces questions nécessitent des recherches supplémentaires sur le trafic, la conversion, l'attribution ou des recherches qualitatives.

Comment Semantio analyse-t-il la représentation de marque ?

Semantio est une plateforme de recherche pour analyser et surveiller comment les grands modèles linguistiques décrivent, comparent et recommandent les marques – et où ils génèrent des erreurs, des inexactitudes ou d'autres problèmes de représentation.

La recherche peut couvrir les mentions de marque, le rôle, les recommandations, les attributs, le sentiment, les produits, les audiences, les concurrents, les sources et les citations, le cas échéant, ainsi que la cohérence des affirmations avec l'identité définie de la marque.

Les utilisateurs peuvent passer des résultats agrégés aux réponses individuelles et à leurs preuves. La représentation de marque n'est donc pas réduite à un classement unique ou à un score opaque.

Créez un compte et découvrez comment les modèles linguistiques représentent votre marque.

Foire aux questions

La représentation de marque est-elle la même chose que la visibilité IA ?

Non. La visibilité demande si une marque apparaît. La représentation couvre également son rôle, ses recommandations, ses attributs, son offre, ses audiences, ses concurrents et son exactitude factuelle.

Un LLM a-t-il une opinion stable sur une marque ?

Aucune conclusion de ce type ne doit être tirée. Une réponse est le résultat d'un système particulier dans des conditions particulières et peut varier selon le scénario, le modèle, la langue, les sources et la date.

Une marque très visible peut-elle toujours être mal représentée ?

Oui. Elle peut apparaître fréquemment tout en étant placée dans la mauvaise catégorie, associée à une offre obsolète ou recommandée à la mauvaise audience.

Toute réponse incorrecte est-elle une hallucination ?

Non. Le problème peut être une information obsolète, une fusion d'entités, une classification erronée, une omission, une simplification excessive ou une recommandation qui ne correspond pas aux critères.