Qu'est-ce que le monitoring de marque LLM ?

Le fait que ChatGPT ait mentionné une marque dans une réponse aujourd'hui ne signifie pas qu'il le fera la semaine prochaine. Nous ne savons pas non plus si Gemini, Claude, Perplexity ou un autre système ferait la même recommandation.

Une seule réponse peut fournir une observation précieuse. Ce n'est cependant pas du monitoring.

Pour déterminer si la présence, la représentation ou la position d'une marque par rapport à ses concurrents évolue, nous devons répéter des études comparables. Seule une série de mesures peut révéler si un résultat est un événement isolé, une fluctuation éphémère ou un changement qui persiste dans le temps.

Le monitoring de marque LLM est l'exécution répétée d'une étude définie et la comparaison de ses résultats au fil du temps. L'étude doit couvrir les mêmes entités, scénarios, audiences, marchés et critères d'évaluation, tandis que toute modification des conditions de recherche doit être documentée.

Le monitoring n'est donc pas une question de poser occasionnellement une question à un modèle sur une entreprise. C'est un processus de recherche qui exige une méthodologie cohérente, des preuves conservées et une interprétation minutieuse.

Que surveillons-nous réellement ?

La réponse la plus simple est que nous surveillons la manière dont les systèmes génératifs répondent aux questions qui comptent pour une marque.

Cela ne se limite pas à vérifier si le nom de la marque apparaît. Comme nous l'expliquons dans notre article sur la représentation de marque dans les grands modèles linguistiques, la représentation d'une marque peut inclure :

• la présence ou l'absence de la marque dans une réponse ;

• si elle est mentionnée spontanément, sans être nommée dans le prompt ;

• si elle est recommandée à l'utilisateur ;

• les attributs, produits et capacités qui lui sont associés ;

• le ton et le contexte de la réponse ;

• les audiences et les cas d'utilisation avec lesquels la marque est associée ;

• les concurrents apparaissant dans le même contexte ;

• les sources utilisées ou citées par le système ;

• les erreurs factuelles, les informations obsolètes et les hallucinations.

Le monitoring peut donc couvrir à la fois la visibilité de la marque et la qualité de sa représentation. Cette distinction est importante. Une marque peut être fréquemment mentionnée, mais apparaître dans un mauvais contexte, être associée à une offre obsolète ou être recommandée à une audience qu'elle ne sert plus.

Il est donc utile de mesurer séparément la présence de la marque, les recommandations, le contexte, la précision factuelle et les relations avec les concurrents. Le pourcentage de réponses contenant le nom d'une entreprise ne donne pas une image complète. Nous explorons cette distinction plus en détail dans notre guide sur la visibilité de marque par l'IA.

Monitoring versus audit ponctuel

Un audit et un monitoring continu ne sont pas la même chose, bien qu'un audit bien conçu puisse devenir le point de départ d'un monitoring.

Un audit répond principalement à la question : comment la marque est-elle représentée aujourd'hui ? Il établit une base de référence, identifie les problèmes et met en évidence les domaines qui nécessitent une observation plus approfondie.

Le monitoring ajoute la dimension temporelle :

• La marque est-elle mentionnée plus ou moins fréquemment ?

• Sa part de recommandations a-t-elle augmenté ?

• Les erreurs précédemment détectées ont-elles disparu ?

• De nouveaux produits commencent-ils à apparaître dans les réponses ?

• Un concurrent s'est-il approprié un sujet ou un scénario particulier ?

• Les activités de communication ont-elles produit un changement observable dans les mesures ultérieures ?

Si l'audit initial a été mené sans un panel de questions, des critères d'évaluation et des enregistrements de réponses clairement définis, sa reproduction ultérieure peut s'avérer difficile. Une étude de référence doit donc utiliser une méthodologie conçue dès le départ pour la répétition.

Brand Semantics décrit une approche pratique pour créer une telle base de référence dans son guide, Comment réaliser un audit de visibilité IA.

Un audit fournit un point de référence. Le monitoring révèle la direction et l'ampleur du changement. Sans une base de référence crédible, il est cependant difficile de déterminer si un résultat ultérieur représente une réelle amélioration.

Monitoring versus stabilité des réponses

C'est l'une des distinctions méthodologiques les plus importantes.

Le monitoring compare les résultats collectés à différents moments. Un test de stabilité examine la variabilité des réponses dans des conditions similaires au cours de la même période de recherche.

Si une marque est apparue dans six réponses sur dix en janvier et huit sur dix en février, nous ne pouvons pas automatiquement conclure que sa visibilité a augmenté. Nous devons d'abord comprendre la variabilité naturelle au sein de chaque période de mesure.

La recherche sur l'évaluation des modèles montre que les résultats peuvent être sensibles même à des instructions paraphrasées. Les auteurs de State of What Art? A Call for Multi-Prompt LLM Evaluation soutiennent qu'une évaluation basée sur une seule formulation de prompt peut conduire à des conclusions trop confiantes.

Cela ne signifie pas que chaque étude doit être répétée indéfiniment. Cela signifie que la méthodologie doit refléter le risque et l'importance de la décision que la recherche est censée soutenir.

Une différence entre deux périodes de mesure n'est pas automatiquement une tendance. Elle peut en indiquer une, mais nous devons d'abord la distinguer de la variabilité générative et des changements dans les conditions de recherche.

Pourquoi les résultats peuvent-ils changer ?

Un changement d'indicateur ne signifie pas toujours que la marque elle-même a changé. Plusieurs mécanismes peuvent en être responsables.

L'environnement informationnel de la marque a changé

De nouveaux articles, rapports, pages produits, avis, supports de relations publiques et contenus concurrents peuvent être apparus. D'autres sources peuvent avoir disparu ou être devenues obsolètes.

Ces changements ne doivent pas nécessairement provenir de la marque elle-même. Un concurrent peut publier des informations plus claires, plus complètes ou mieux connectées et, par conséquent, commencer à apparaître plus souvent dans les réponses.

Le système ou son processus de récupération d'informations a changé

Les systèmes génératifs peuvent utiliser différents modèles, composants de recherche, techniques d'expansion de requêtes et mécanismes de sélection de sources. Google explique que les AI Overviews et le mode AI peuvent utiliser différents modèles et techniques, ce qui signifie que les réponses et les liens de support peuvent varier.

Si la version du modèle, l'interface ou l'accès aux informations web actuelles changent, cela doit être documenté dans le cadre des conditions de recherche.

Les conditions de recherche ont changé

La langue, la localisation, les paramètres du compte, l'accès à la recherche web, la formulation des questions et l'ensemble des concurrents nommés peuvent tous influencer la réponse.

« Quel outil dois-je choisir ? » et « Quel est le meilleur outil ? » peuvent sembler similaires, mais ils peuvent activer des critères d'évaluation différents. Si les prompts changent entre les périodes de mesure, nous ne travaillons plus avec exactement le même panel.

La variabilité générative a affecté les résultats

Les modèles linguistiques ne produisent pas toujours des réponses identiques. Ils peuvent sélectionner différents exemples, modifier l'ordre d'une liste ou omettre une marque qu'ils ont mentionnée lors d'une exécution précédente.

Toute différence n'est pas une preuve de changement de représentation de la marque.

Que doit rester constant ?

Nous ne pouvons pas figer les systèmes étudiés, mais nous pouvons contrôler le cœur de la recherche.

Les éléments suivants doivent rester aussi cohérents que possible :

• la marque et ses variantes de nom ;

• les produits, services et autres entités inclus dans l'étude ;

• les audiences et personas ;

• les cas d'utilisation ;

• les étapes du processus de décision ;

• le panel de questions et ses règles d'exécution ;

• la langue, le marché et la localisation ;

• les systèmes testés ;

• les règles de classification des réponses ;

• la manière dont les indicateurs sont calculés ;

• les réponses complètes et les dates de chaque mesure.

Tout changement inévitable doit être enregistré. Si de nouvelles questions doivent être introduites, il est souvent préférable de les ajouter comme un module distinct tout en conservant le panel comparatif fixe.

Une règle pratique est d'adapter l'étude lorsque l'entreprise l'exige, mais de ne jamais réécrire son histoire. Conservez les définitions et les résultats antérieurs afin de pouvoir déterminer si la marque a changé, si la méthodologie a changé ou si les deux ont changé.

À quelle fréquence le monitoring de marque doit-il être effectué ?

Il n'y a pas de fréquence unique adaptée à chaque organisation.

Un monitoring mensuel peut être approprié lorsque :

• le marché évolue rapidement ;

• la marque mène des communications intensives ;

• de nouveaux produits ou services sont lancés ;

• les concurrents sont très actifs ;

• le risque réputationnel est important.

Un monitoring trimestriel peut suffire pour les organisations ayant une offre stable, des cycles d'achat plus longs et un rythme de communication plus lent.

Des mesures supplémentaires peuvent être justifiées suite à :

• un changement de positionnement ;

• un lancement de produit ou une entrée sur un nouveau marché ;

• une refonte majeure du site web ou de l'architecture de contenu ;

• une crise réputationnelle ;

• une fusion, une acquisition ou un changement de marque ;

• une campagne de communication majeure ;

• un changement significatif de l'un des systèmes surveillés.

Une mesure plus fréquente n'est pas toujours meilleure. Si le résultat fluctue quotidiennement mais que l'organisation prend des décisions trimestriellement, une mesure excessive peut générer des alertes plutôt que des informations utiles.

Le calendrier de monitoring doit refléter le rythme du changement, le niveau de risque et le cycle de décision de l'organisation.

Dans l'un de nos projets, nous avons surveillé une campagne sociale menée au début de l'année. C'était une fenêtre de communication particulièrement exigeante : la vague saisonnière de dons caritatifs liés à Noël venait tout juste de s'estomper, tandis que la promotion intensive entourant la finale du Grand Orchestre de la Charité de Noël (WOŚP) dominait déjà l'attention du public et des médias. La campagne a donc dû rivaliser pour la visibilité entre deux vagues de communication sociale exceptionnellement fortes.

Une mesure conventionnelle avant la campagne et une autre après n'auraient pas révélé suffisamment d'informations sur la dynamique du changement. Nous avons augmenté la fréquence de mesure afin de pouvoir observer plus précisément quand le récit de la campagne a commencé à apparaître dans les réponses des systèmes génératifs. Parallèlement, nous avons mené des sondages exploratoires supplémentaires et fait varier certains paramètres de recherche en remplaçant certains scénarios tout en conservant un noyau comparatif fixe.

Cela nous a permis de distinguer le mouvement des indicateurs clés des signaux émergents dans des contextes plus récents et plus thématiques. Le projet a démontré qu'une fréquence de mesure plus élevée peut être nécessaire dans des circonstances exceptionnelles, mais cela ne doit pas signifier changer toute la méthodologie sans contrôle. La partie stable de l'étude a préservé la comparabilité, tandis que les scénarios variables nous ont aidés à saisir comment les systèmes réagissaient au fur et à mesure du développement de la campagne.

Comment interpréter un changement de résultats ?

Nous ne devrions jamais nous contenter de regarder la moyenne.

Si la visibilité passe de 40 % à 50 %, nous devons examiner :

• quels systèmes ont produit le changement ;

• quels personas et scénarios en étaient responsables ;

• si la marque a été simplement mentionnée ou activement recommandée ;

• si l'information était correcte ;

• ce qui est arrivé aux concurrents ;

• si l'amélioration était généralisée ou limitée à un petit nombre de questions ;

• si le nombre d'observations était suffisant pour étayer la conclusion.

Chaque indicateur doit être présenté avec son dénominateur. Un changement d'une réponse positive à deux représente une augmentation de 100 %, mais il est toujours basé sur seulement deux réponses.

Les résultats quantitatifs doivent également être accompagnés de preuves qualitatives : la réponse complète, son contexte, les concurrents mentionnés, les sources citées et le raisonnement utilisé par le système.

Le monitoring n'est pas une recherche d'opinion publique. Il ne prouve pas que les clients perçoivent la marque de la même manière, ni ne démontre qu'un changement se traduira directement par des ventes. Il montre ce que des systèmes sélectionnés ont généré dans des conditions de recherche définies.

L'une de nos études a produit un score de visibilité exceptionnellement élevé pour une marque hôtelière dès la première exécution. Le résultat était bien plus fort que ce que nous aurions pu raisonnablement attendre compte tenu de la position de la propriété sur le marché et de sa brève histoire – elle n'avait ouvert que quelques mois auparavant.

À première vue, les données ressemblaient à une preuve de succès de communication inhabituellement rapide. Seul un examen des réponses complètes a révélé que les modèles linguistiques attribuaient incorrectement la propriété à une chaîne hôtelière internationale beaucoup plus grande. Sur la base d'une similarité partielle dans le nom ou le contexte, les systèmes ont inféré une relation qui n'existait pas.

La propriété recevait donc une visibilité qui n'avait pas été générée par sa propre empreinte informationnelle. C'était une visibilité créée par une mauvaise identification d'entité. La surinterprétation des modèles a entraîné une surestimation substantielle des indicateurs de performance sous-jacents.

Ce cas a démontré pourquoi l'analyse ne peut pas s'arrêter à un pourcentage. Si nous n'avions pas examiné les réponses et la manière dont l'entité avait été identifiée, nous aurions présenté au client une image attrayante mais fondamentalement trompeuse. Un score élevé n'indique pas toujours une position forte – parfois, il expose un problème de résolution d'entité.

Que faire lorsqu'un changement est détecté ?

Un processus de monitoring utile doit mener à une décision, pas seulement à un autre graphique.

1. Confirmer le résultat

Répétez les scénarios pertinents ou effectuez une vérification de stabilité supplémentaire. Déterminez si le changement persiste sur tous les systèmes et les formulations de prompt équivalentes.

2. Localiser le changement

Identifiez les systèmes, les audiences, les produits, les scénarios et les étapes du parcours de décision où la différence s'est produite.

3. Classer le changement

Déterminez s'il concerne :

• la présence de la marque ;

• la recommandation ;

• la précision factuelle ;

• le contexte ou le sentiment ;

• le positionnement des concurrents ;

• les sources ;

• l'hallucination ou la mauvaise identification d'entité.

4. Comparer le résultat avec l'identité de marque souhaitée

Demandez si la représentation émergente est cohérente avec la manière dont l'organisation souhaite être comprise.

5. Analyser les sources et les lacunes d'information

Vérifiez si les informations pertinentes sont disponibles, à jour, explicites et cohérentes dans l'écosystème numérique de la marque.

C'est là que des services tels que Semantic Health peuvent aider à identifier les contradictions, les relations manquantes et les faiblesses de l'infrastructure informationnelle de la marque.

6. Sélectionner l'action appropriée

Selon le diagnostic, la prochaine étape peut impliquer la correction d'informations factuelles, le renforcement des relations d'entités, la mise à jour du contenu produit, l'amélioration de l'architecture de contenu ou la publication de nouveaux matériaux basés sur des preuves.

Lorsque le problème concerne la manière dont l'information est structurée et interprétée par les systèmes d'IA, l'AI-First Content Engineering fournit un cadre pour concevoir du contenu autour des entités, des relations et des affirmations clairement exprimées.

Le rôle plus large de cette infrastructure est expliqué dans La sémantique de marque comme infrastructure pour la recherche IA.

7. Mesurer à nouveau

Une action corrective n'est pas terminée lorsque le contenu est publié. La prochaine mesure doit évaluer si le changement attendu apparaît et si des effets indésirables sont apparus ailleurs.

Comment Semantio soutient-il le monitoring de marque ?

Exécuter un test manuellement est simple. La complexité augmente lorsqu'une étude inclut plusieurs audiences, produits, concurrents, scénarios et systèmes génératifs – et lorsque des enregistrements comparables doivent être conservés au fil du temps.

Semantio organise l'étude autour de l'identité de la marque. Il permet aux équipes de définir les produits, les audiences et les concurrents, puis de construire des scénarios de test basés sur ces entités.

Les résultats peuvent être analysés sur l'ensemble de l'étude ainsi qu'au niveau des questions et des systèmes individuels. Cela permet d'aller au-delà des simples décomptes de mentions et d'inspecter les preuves derrière les indicateurs.

La plateforme ne supprime pas le besoin d'interprétation. Elle soutient une mesure cohérente, une comparaison structurée et la conservation des enregistrements de recherche – les éléments nécessaires pour que le monitoring devienne un processus commercial reproductible plutôt qu'une collection de captures d'écran.

Souhaitez-vous établir comment votre marque est représentée dans les systèmes d'IA aujourd'hui et surveiller comment cette représentation évolue ? Créez votre compte Semantio et configurez votre première mesure de référence.

Questions fréquemment posées

Le monitoring de marque LLM est-il identique à l'écoute sociale ?

Non. L'écoute sociale analyse le contenu publié par des personnes et des organisations sur les plateformes sociales et d'autres canaux publics. Le monitoring LLM examine les réponses générées par les systèmes d'IA en réponse à des scénarios définis.

Les deux approches peuvent se compléter, mais elles mesurent des phénomènes différents.

Est-il suffisant de poser régulièrement une question à ChatGPT ?

Non. Une seule question ne représente pas l'éventail des audiences, des besoins, des produits, des étapes de décision et des contextes concurrentiels pertinents pour une marque. Elle ne fournit pas non plus une base suffisante pour distinguer une tendance de la variabilité ordinaire des réponses.

Une visibilité élevée est-elle toujours bénéfique ?

Non. Une marque peut être très visible parce qu'elle est mal représentée, confondue avec une autre entité ou mentionnée dans un contexte défavorable. La visibilité doit toujours être analysée en même temps que la précision, la pertinence et la nature de la recommandation.

La mise à jour d'un site web modifiera-t-elle immédiatement les réponses du modèle ?

Pas nécessairement. Les changements peuvent être découverts, traités et reflétés à des vitesses différentes, selon le système et les mécanismes qu'il utilise. Certaines réponses peuvent également s'appuyer sur des sources externes plutôt que sur le propre site web de la marque.

Le monitoring peut-il identifier la cause de chaque changement ?

Non. Il peut révéler où et comment le résultat a changé, mais il ne peut pas toujours fournir de preuves définitives de causalité. Dans de nombreux cas, la cause doit être inférée en combinant l'analyse des réponses, l'examen des sources et la connaissance des changements dans l'environnement informationnel de la marque.

Que devons-nous réellement surveiller ?

Le monitoring de marque LLM est une étude reproductible, pas une collection de conversations de chatbot ad hoc.

Sa valeur dépend de :

• une base de référence clairement définie ;

• un panel stable d'entités et de scénarios ;

• des conditions de recherche documentées ;

• la distinction entre le changement à long terme et la variabilité des réponses ;

• l'analyse des indicateurs et des preuves sous-jacentes complètes ;

• la connexion des résultats avec des décisions commerciales et de communication spécifiques.

La question la plus importante n'est donc pas simplement : « Le modèle a-t-il mentionné notre marque ? »

Elle devrait être :

La manière dont les systèmes d'IA représentent notre marque évolue-t-elle au fil du temps – et si oui, où, dans quelle direction et avec quelles implications pour l'audience ?