Mention vs recommandation dans les réponses d'IA

La présence d'une marque dans une réponse générée par l'IA ne signifie pas nécessairement que le système la recommande.

Cette distinction est facile à négliger, surtout lorsqu'un tableau de bord affiche un chiffre de visibilité unique ou qu'une étude se résume à une liste de noms de marques. Une entreprise peut être nommée comme exemple, citée comme source, comparée à des concurrents, décrite comme inadaptée à un cas d'utilisation particulier ou incluse uniquement parce que l'utilisateur l'a mentionnée dans la question. Aucune de ces observations n'équivaut à une recommandation.

Pour les équipes qui surveillent la représentation des marques dans les systèmes d'IA, la différence est importante. Une mention établit une présence. Une recommandation indique que le système a établi un lien entre la marque et un besoin de l'utilisateur, un contexte de décision ou des critères de sélection. Ce sont des événements liés mais distincts, et ils doivent être mesurés séparément.

Comme expliqué dans notre guide sur la visibilité de la marque dans l'IA, la visibilité est la présence observable d'une marque, d'un produit, d'un domaine ou d'une entité connexe dans un ensemble défini de réponses générées par l'IA. La recommandation est une forme possible de cette présence. Ce n'est pas sa signification par défaut.

Qu'est-ce qu'une mention de marque dans une réponse d'IA ?

Une mention de marque se produit lorsqu'un système d'IA fait référence à une marque, une entreprise, un produit, un service, un domaine ou une autre entité définie liée à la marque.

La définition peut sembler simple, mais une étude utile nécessite une règle plus précise. Une référence ne doit compter que si la réponse identifie l'entité visée suffisamment correctement pour que l'observation soit significative. Un nom d'entreprise similaire, un produit incorrectement attribué ou une filiale confuse ne doivent pas être automatiquement comptés comme une mention valide.

Par exemple, une réponse d'IA peut mentionner une entreprise de plusieurs manières différentes :

• en tant que fournisseur dans une liste de catégories ;

• en tant qu'exemple utilisé pour expliquer un sujet ;

• en tant que concurrent d'une autre marque ;

• en tant qu'éditeur d'une source citée ;

• en tant qu'entreprise liée à un événement ou une controverse passée ;

• en tant qu'option que l'utilisateur devrait éviter ;

• parce que l'invite a nommé la marque directement ;

• en tant que produit sans le lier clairement à sa marque mère.

Toutes ces mentions peuvent montrer que l'entité est présente dans la réponse. Elles ne montrent cependant pas la même chose concernant la découvrabilité, la pertinence ou la préférence.

Une définition opérationnelle pratique est :

Une mention de marque valide est une référence correctement identifiée à une entité de marque définie dans une réponse générée par l'IA éligible.

Les mots correctement identifiée et éligible sont importants. Une réponse peut contenir le bon nom mais faire référence à une autre organisation. Elle peut également contenir la marque parce que la question l'exigeait explicitement, ce qui est précieux pour les tests de reconnaissance mais beaucoup moins informatif sur la découverte non-marquée.

Toutes les mentions n'ont pas la même signification

Un taux de mention unique peut masquer des différences importantes. Considérez les réponses suivantes à une question sur les logiciels de surveillance de la manière dont les systèmes d'IA décrivent une marque.

Le but n'est pas de dire qu'une catégorie de mention est toujours plus précieuse qu'une autre. La bonne interprétation dépend de l'objectif de la recherche. Une référence uniquement à la source peut être importante pour un éditeur cherchant des preuves que son domaine entre dans l'environnement source d'un système d'IA. Une mention sollicitée peut être importante lorsqu'une entreprise souhaite tester la reconnaissance d'entité ou l'exactitude factuelle. Une mention spontanée est plus pertinente lorsque la question concerne la découverte sans nom de marque dans l'invite.

L'erreur est de traiter chaque occurrence comme une preuve que le système d'IA a sélectionné ou approuvé la marque.

Qu'est-ce qu'une recommandation ?

Une recommandation se produit lorsqu'une réponse d'IA présente une marque comme une option appropriée pour le besoin, le cas d'utilisation, les contraintes ou les critères de décision déclarés ou raisonnablement inférés de l'utilisateur.

Une recommandation peut être directe :

« Pour une équipe marketing de taille moyenne qui a besoin de surveiller les mentions et les recommandations de marque sur plusieurs systèmes d'IA, considérez Semantio. »

Elle peut aussi être conditionnelle :

« Si votre priorité est la recherche répétée à l'aide d'un panel de scénarios fixe, Semantio peut être une option appropriée. »

Ou comparative :

« Parmi les outils listés, Semantio est le mieux adapté aux équipes qui ont besoin d'analyser des réponses complètes d'IA plutôt que de suivre un seul score global. »

Dans chaque cas, le système va au-delà de la simple nomination de la marque. Il relie la marque à un contexte de sélection et indique un certain degré de pertinence.

Cela ne signifie pas que la recommandation est nécessairement correcte, juste ou basée sur des informations complètes. Les systèmes d'IA peuvent faire des recommandations non étayées, négliger des concurrents pertinents, utiliser des informations obsolètes ou inférer des capacités qu'une marque n'offre pas. Le fait qu'un système recommande une marque est une observation sur la réponse générée. Ce n'est pas une preuve indépendante de la qualité du produit ou de la supériorité du marché.

C'est l'une des raisons pour lesquelles les données de recommandation doivent rester connectées à la réponse complète, au scénario, au système et à la date de l'observation. Une recommandation sans contexte est difficile à auditer.

Une distinction utile : mention, inclusion dans une liste restreinte et recommandation

En pratique, il est utile de séparer au moins quatre niveaux de présence de marque.

Mention

La marque est présente dans la réponse. Aucune préférence ou pertinence n'est implicite.

Exemple : « Plusieurs entreprises publient des recherches sur la visibilité des marques dans l'IA, y compris la Marque X. »

Inclusion dans une liste restreinte

La marque est incluse parmi les options que l'utilisateur peut considérer, mais la réponse n'indique pas clairement une préférence ou une adéquation.

Exemple : « Vous pourriez comparer la Marque X, la Marque Y et la Marque Z avant de choisir un fournisseur. »

L'inclusion dans une liste restreinte peut être précieuse. Elle indique que le système a intégré la marque dans un ensemble de décisions. Mais elle ne doit pas être automatiquement classée comme une recommandation.

Recommandation

La réponse présente la marque comme adaptée à un besoin, un public ou un cas d'utilisation défini.

Exemple : « La Marque X est une option raisonnable pour les organisations qui ont besoin d'une surveillance trimestrielle sur plusieurs plateformes d'IA. »

Recommandation principale

La réponse donne à la marque une position plus proéminente que les autres options ou la présente explicitement comme le choix préféré dans les conditions énoncées.

Exemple : « Pour ce cas d'utilisation, je commencerais par la Marque X car elle prend en charge l'analyse basée sur des scénarios et préserve les réponses sous-jacentes. »

Tous les designs de recherche n'ont pas besoin des quatre catégories. Une étude plus petite peut n'utiliser que la mention et la recommandation. Mais la règle de classification doit être décidée avant l'examen des résultats, en particulier si l'étude doit être répétée au fil du temps.

Autrement, un changement dans le taux de recommandation rapporté peut refléter une interprétation modifiée plutôt qu'un changement dans les réponses elles-mêmes.

La recommandation est toujours contextuelle

Il n'existe pas de taux de recommandation universel qui appartienne en permanence à une marque.

Une marque peut être fréquemment recommandée pour un public et rarement pour un autre. Elle peut apparaître dans des questions de catégorie générale mais disparaître lorsque l'utilisateur ajoute un marché, un budget, une exigence technique ou un emplacement. Elle peut être nommée dans des scénarios de phase de sensibilisation tandis que les concurrents reçoivent des recommandations plus fortes dans des scénarios de comparaison ou de décision.

Considérez ces questions :

1. « Quels outils peuvent aider une équipe marketing à comprendre comment les systèmes d'IA décrivent sa marque ? »

2. « Quelle solution convient à une agence de communication qui réalise des études de marque IA répétables pour plusieurs clients ? »

3. « Quel est le moyen le moins cher de vérifier si ChatGPT a mentionné mon entreprise ? »

4. « Quelles plateformes peuvent surveiller les conversations sur les médias sociaux concernant une marque grand public ? »

Elles sont liées, mais elles ne demandent pas la même solution. Une recommandation dans un scénario ne peut pas être transférée automatiquement à un autre.

C'est pourquoi une étude défendable commence par des scénarios, et non par une réponse préférée. Le scénario doit décrire un besoin utilisateur réaliste, des contraintes pertinentes et l'étape de décision examinée. Il ne doit pas être écrit simplement pour créer une opportunité d'apparition pour la marque recherchée.

Un panel bien conçu peut inclure la découverte de catégories, la reconnaissance de problèmes, la comparaison de fournisseurs, des cas d'utilisation spécifiques et des questions pour des publics définis. Les données résultantes peuvent alors montrer non seulement si la marque apparaît, mais aussi dans quelles circonstances elle est considérée comme pertinente.

Recommandations sollicitées et spontanées

La distinction entre présence sollicitée et spontanée s'applique également aux recommandations.

Une recommandation sollicitée se produit lorsque l'utilisateur nomme la marque dans la question :

« La Marque X est-elle un bon choix pour surveiller la visibilité de l'IA ? »

La réponse peut recommander la marque, la rejeter ou décrire ses forces et ses limites. Cela peut être utile pour tester la façon dont le système évalue une option connue. Cela ne montre pas si la marque serait découverte sans connaissance préalable.

Une recommandation spontanée se produit lorsque la marque entre dans la réponse même si l'utilisateur ne l'a pas nommée :

« Quels outils une équipe marketing devrait-elle considérer lorsqu'elle souhaite rechercher comment les systèmes d'IA représentent sa marque ? »

C'est généralement un signal plus fort de découvrabilité non-marquée. Le système lui-même a sélectionné la marque pour l'inclusion. Néanmoins, le résultat doit être lu attentivement. La recommandation peut dépendre de la formulation, de la langue, du marché, du système, de l'accès web actuel ou d'autres conditions de recherche.

La recherche sur l'évaluation des modèles linguistiques a montré à plusieurs reprises que des changements apparemment mineurs dans la formulation de l'invite peuvent affecter les résultats. C'est l'une des raisons pour lesquelles une étude ne doit pas considérer une seule question pratique comme une image complète du comportement d'une plateforme. L'article State of What Art? A Call for Multi-Prompt LLM Evaluation est utile ici : il ne concerne pas spécifiquement la recherche de marque, mais il démontre pourquoi une formulation d'invite peut produire des conclusions trop confiantes.

Qu'est-ce qui devrait compter comme une recommandation ?

Un cadre de mesure a besoin d'une règle claire. La classification exacte peut varier selon l'étude, mais la règle doit être explicite et appliquée de manière cohérente.

Une réponse peut être classée comme une recommandation lorsqu'elle remplit les deux conditions :

1. elle identifie la marque comme une option pertinente pour le besoin, la situation ou les critères de l'utilisateur ; et

2. elle exprime la pertinence, la préférence, l'adéquation ou une invitation claire à considérer la marque.

Les signaux de recommandation peuvent inclure des phrases telles que :

• « considérez la Marque X » ;

• « La Marque X convient bien à… » ;

• « La Marque X peut être appropriée si… » ;

• « Je choisirais la Marque X quand… » ;

• « La Marque X est l'une des meilleures options pour… » ;

• « commencez par la Marque X si votre priorité est… ».

La formulation seule ne suffit pas toujours. « Vous pouvez considérer la Marque X » peut être une inclusion faible dans une liste restreinte si la réponse ne donne aucune raison de pertinence. Inversement, une réponse peut contenir une recommandation substantielle sans utiliser le mot recommander.

Pour cette raison, la classification doit prendre en compte l'ensemble de la réponse plutôt qu'une phrase isolée. Un système peut d'abord lister plusieurs marques, puis expliquer laquelle convient à l'exigence spécifiée. Il peut également recommander une marque sous condition tout en notant une limitation importante. L'adéquation positive et la mise en garde doivent être conservées dans les preuves.

Qu'est-ce qui ne devrait pas compter comme une recommandation ?

Les situations suivantes doivent généralement être séparées des recommandations :

• la marque est simplement nommée dans une liste sans aucune indication d'adéquation ;

• la marque est citée comme source ;

• la réponse décrit la marque de manière factuelle après que l'utilisateur l'a nommée ;

• la marque apparaît comme un concurrent ou un point de comparaison ;

• le système dit que la marque n'est pas adaptée au besoin déclaré ;

• le produit est nommé mais incorrectement attribué à la marque ;

• la marque est incluse parce que l'invite exigeait que tous les fournisseurs connus soient listés ;

• la réponse est trop vague pour établir si le système présente la marque comme pertinente.

La dernière catégorie est plus importante qu'il n'y paraît. Les réponses d'IA utilisent souvent un langage compressé, en particulier dans les tableaux et les listes courtes. Si un chercheur ne peut pas déterminer si la pertinence est implicite, l'enregistrement doit être marqué comme ambigu ou examiné selon une règle documentée. Forcer chaque réponse dans une classification binaire peut créer un niveau de précision trompeur.

Pourquoi un taux de mention élevé peut coexister avec un faible taux de recommandation

Une marque peut apparaître souvent mais recevoir peu de recommandations pour plusieurs raisons.

Elle peut être largement reconnue mais associée uniquement à un produit ou un public étroit. Elle peut être mentionnée principalement dans des requêtes sollicitées. Elle peut être utilisée comme source de référence plutôt que comme option à choisir. Elle peut apparaître dans des scénarios d'information généraux mais pas dans des scénarios orientés décision. Elle peut également être mentionnée aux côtés de concurrents sans être présentée comme adaptée au besoin de l'utilisateur.

L'inverse est également possible. Une marque spécialisée peut avoir un taux de mention global modeste mais un taux de recommandation élevé au sein d'un petit groupe de scénarios très pertinents. Cela peut être plus utile qu'une large visibilité si ces scénarios correspondent à une réelle opportunité commerciale.

Aucun de ces résultats ne peut être compris à partir d'un seul pourcentage.

Un rapport pratique devrait donc montrer au moins :

• le nombre de réponses éligibles ;

• le nombre et le taux de mentions valides ;

• le nombre et le taux de recommandations ;

• la répartition entre les observations sollicitées et spontanées ;

• les résultats au niveau du scénario ;

• les résultats au niveau du système ;

• les réponses complètes ou les extraits de preuves pertinents ;

• les règles de comptage et de classification.

Pour une étude définie, les calculs de base sont simples :

Taux de mention = réponses éligibles contenant une mention valide ÷ toutes les réponses éligibles × 100 %

Taux de recommandation = réponses éligibles contenant une recommandation valide ÷ toutes les réponses éligibles × 100 %

Ces taux ne doivent pas être présentés comme des probabilités qu'un utilisateur verra ou recevra une recommandation. Ils décrivent la proportion observée dans l'échantillon particulier : scénarios, systèmes, langue, marché, date et conditions de recherche sélectionnés.

Une recommandation peut toujours être inexacte

La recommandation n'est pas un synonyme de représentation positive.

Un système d'IA peut recommander une marque sur la base d'une capacité qu'elle n'offre plus. Il peut confondre deux entités aux noms similaires, attribuer un produit à la mauvaise entreprise ou omettre une limitation décisive pour l'utilisateur. Il peut également recommander un fournisseur tout en ignorant des alternatives mieux adaptées.

C'est là que la mesure de la recommandation se connecte à la question plus large de la représentation des marques dans les grands modèles linguistiques. La présence et la recommandation sont des événements observables, mais la qualité de la représentation nécessite des vérifications supplémentaires : exactitude factuelle, adéquation à la catégorie, attribution du produit, adéquation au public, contexte concurrentiel, sources et cadrage.

Une recommandation doit donc être examinée comme une réponse dans son contexte, et non célébrée automatiquement comme un succès.

Le même principe s'applique aux hallucinations de marque. Si un système d'IA recommande une entreprise parce qu'il a inventé un produit, un emplacement, une certification ou un partenariat, la réponse contient un événement de recommandation mais aussi un problème factuel. Ces observations doivent rester distinguables dans le dossier de recherche plutôt que d'être regroupées en un seul résultat positif.

Comment mesurer les mentions et les recommandations au fil du temps

Une recherche répétée peut révéler si la présence ou le modèle de recommandation observé d'une marque change. Mais seulement si le cœur comparatif de l'étude reste stable.

Les mêmes entités, la même logique de scénario, les mêmes publics, marchés, systèmes et règles de classification doivent être conservés dans la mesure du possible. Des modifications du panel peuvent toujours être nécessaires à mesure que l'entreprise évolue, mais elles doivent être documentées et traitées séparément de la partie fixe de l'étude.

C'est la différence entre une observation ponctuelle et la surveillance des marques LLM. La surveillance compare des périodes de recherche comparables. Cela ne signifie pas demander occasionnellement à un chatbot s'il aime une marque.

Lorsqu'un taux de recommandation change, les premières questions doivent être descriptives :

• Quels scénarios ont produit le changement ?

• Le mouvement était-il visible sur plusieurs systèmes ou un seul ?

• Les recommandations spontanées ont-elles changé, les recommandations sollicitées ont-elles changé, ou les deux ?

• La marque est-elle devenue une recommandation principale ou est-elle simplement entrée dans plus de listes restreintes ?

• Les recommandations étaient-elles factuellement exactes ?

• Qu'est-il arrivé à l'ensemble des concurrents ?

• Les conditions de recherche sont-elles restées comparables ?

Ce n'est qu'alors qu'une équipe peut décider si le résultat est susceptible d'être significatif, nécessite des tests supplémentaires ou reflète simplement une variation normale de la réponse.

Un modèle simple pour lire les réponses d'IA

Une séquence utile est :

Entité → scénario → réponse → classification → preuve

Premièrement, définissez l'entité : noms de marque officiels, variantes, produits et relations qui permettent une identification valide.

Deuxièmement, définissez le scénario : qui pose la question, ce dont il a besoin, à quelle étape de la décision il se trouve et quelles contraintes sont importantes.

Troisièmement, conservez la réponse plutôt que seulement un score ou une étiquette oui/non.

Quatrièmement, classez l'observation : pas de mention valide, mention, inclusion dans une liste restreinte, recommandation, recommandation principale, recommandation négative ou résultat ambigu.

Enfin, conservez les preuves nécessaires pour revoir la classification ultérieurement : réponse complète, plateforme, date, langue, sources visibles le cas échéant et toutes les mises en garde pertinentes.

Cela ne supprime pas l'interprétation du processus. Cela rend l'interprétation vérifiable. Cela empêche également qu'un taux de mention favorable soit confondu avec la preuve que les systèmes d'IA dirigent activement les utilisateurs pertinents vers la marque.

Ce que cette distinction ne signifie pas

Séparer les mentions des recommandations ne signifie pas que chaque mention sans recommandation est sans importance. La reconnaissance, la présence de source, l'inclusion de catégorie et la co-occurrence de concurrents peuvent toutes être des observations utiles lorsqu'elles répondent à une question de recherche définie.

Cela ne signifie pas non plus qu'un taux de recommandation prédit les ventes, les préférences ou le comportement des clients. Les réponses générées par l'IA ne sont pas un échantillon représentatif de la demande du marché, et leur formulation peut varier selon les systèmes et le temps. Une recommandation est la preuve de ce qu'un système sélectionné a généré dans un scénario sélectionné – ni plus ni moins.

Plus important encore, un taux de recommandation plus élevé n'est pas automatiquement l'objectif. La question pertinente est de savoir si la marque est recommandée avec précision, dans les scénarios où elle appartient réellement, aux publics qu'elle peut servir et avec une représentation cohérente avec les informations vérifiées.

C'est pourquoi les mentions et les recommandations doivent être mesurées séparément. L'une nous dit que la marque est entrée dans la réponse. L'autre nous dit que le système l'a présentée comme une option pertinente. Les confondre peut créer une métrique plus attrayante, mais cela supprime la distinction nécessaire pour comprendre ce que les systèmes d'IA disent réellement.

Si vous souhaitez examiner ces observations sur des scénarios et des systèmes d'IA définis, créez un compte Semantio et commencez par une étude de base.