Menzione vs. raccomandazione nelle risposte AI

La comparsa di un brand in una risposta generata dall'AI non significa necessariamente che il sistema lo raccomandi.

Questa distinzione è facile da trascurare, specialmente quando una dashboard riporta un'unica cifra di visibilità o uno studio è ridotto a un elenco di nomi di brand. Un'azienda può essere nominata come esempio, citata come fonte, confrontata con i concorrenti, descritta come inadatta per un particolare caso d'uso o inclusa solo perché l'utente l'ha menzionata nella domanda. Nessuna di queste osservazioni equivale a una raccomandazione.

Per i team che monitorano la rappresentazione del brand nei sistemi AI, la differenza è significativa. Una menzione stabilisce la presenza. Una raccomandazione indica che il sistema ha collegato il brand a una necessità dell'utente, a un contesto decisionale o a criteri di selezione. Questi sono eventi correlati ma distinti, e dovrebbero essere misurati separatamente.

Come spiegato nella nostra guida sulla visibilità del brand nell'AI, la visibilità è la presenza osservabile di un brand, prodotto, dominio o entità correlata in un insieme definito di risposte generate dall'AI. La raccomandazione è una possibile forma di tale presenza. Non è il suo significato predefinito.

Cos'è una menzione del brand in una risposta AI?

Una menzione del brand si verifica quando un sistema AI si riferisce a un brand, azienda, prodotto, servizio, dominio o un'altra entità definita collegata al brand.

La definizione può sembrare semplice, ma uno studio utile necessita di una regola più precisa. Un riferimento dovrebbe contare solo quando la risposta identifica l'entità intesa in modo sufficientemente corretto affinché l'osservazione sia significativa. Un nome di azienda simile, un prodotto attribuito in modo errato o una filiale confusa non dovrebbero essere automaticamente contati come una menzione valida.

Ad esempio, una risposta AI può menzionare un'azienda in diversi modi:

• come fornitore in un elenco di categorie;

• come esempio utilizzato per spiegare un argomento;

• come concorrente di un altro brand;

• come editore di una fonte citata;

• come azienda collegata a un evento passato o a una controversia;

• come opzione che l'utente dovrebbe evitare;

• perché il prompt ha nominato direttamente il brand;

• come prodotto senza collegarlo chiaramente al suo brand madre.

Tutti questi esempi possono mostrare che l'entità è presente nella risposta. Non mostrano, tuttavia, la stessa cosa riguardo alla scopribilità, all'idoneità o alla preferenza.

Una definizione operativa pratica è:

Una menzione valida del brand è un riferimento correttamente identificato a un'entità di brand definita all'interno di una risposta AI idonea.

Le parole correttamente identificato e idonea sono importanti. Una risposta può contenere il nome giusto ma riferirsi comunque a un'altra organizzazione. Può anche contenere il brand perché la domanda lo richiedeva esplicitamente, il che è prezioso per i test di riconoscimento ma molto meno informativo sulla scoperta non brandizzata.

Non ogni menzione ha lo stesso significato

Un singolo tasso di menzioni può nascondere differenze importanti. Considera le seguenti risposte a una domanda sul software per monitorare come i sistemi AI descrivono un brand.

Il punto non è che una categoria di menzione sia sempre più preziosa di un'altra. L'interpretazione corretta dipende dallo scopo della ricerca. Un riferimento solo come fonte può essere importante per un editore che cerca prove che il suo dominio entri nell'ambiente delle fonti di un sistema AI. Una menzione sollecitata può essere importante quando un'azienda vuole testare il riconoscimento dell'entità o l'accuratezza fattuale. Una menzione spontanea è più rilevante quando la domanda riguarda la scoperta senza un nome di brand nel prompt.

L'errore è trattare ogni occorrenza come prova che il sistema AI abbia selezionato o approvato il brand.

Cos'è una raccomandazione?

Una raccomandazione si verifica quando una risposta AI presenta un brand come opzione adatta per la necessità, il caso d'uso, i vincoli o i criteri decisionali dichiarati o ragionevolmente inferiti dall'utente.

Una raccomandazione può essere diretta:

“Per un team di marketing di medie dimensioni che ha bisogno di monitorare le menzioni e le raccomandazioni del brand su diversi sistemi AI, considera Semantio.”

Può anche essere condizionale:

“Se la tua priorità è la ricerca ripetuta utilizzando un pannello di scenari fisso, Semantio potrebbe essere un'opzione adatta.”

O comparativa:

“Tra gli strumenti elencati, Semantio è la scelta migliore per i team che hanno bisogno di analizzare risposte AI complete piuttosto che tracciare un singolo punteggio principale.”

In ogni caso, il sistema va oltre la semplice menzione del brand. Collega il brand a un contesto di selezione e indica un certo grado di idoneità.

Ciò non significa che la raccomandazione sia necessariamente corretta, equa o basata su informazioni complete. I sistemi AI possono fare raccomandazioni non supportate, trascurare concorrenti rilevanti, utilizzare informazioni obsolete o inferire capacità che un brand non offre. Il fatto che un sistema raccomandi un brand è un'osservazione sulla risposta generata. Non è una prova indipendente della qualità del prodotto o della superiorità sul mercato.

Questo è uno dei motivi per cui i dati di raccomandazione dovrebbero rimanere collegati alla risposta completa, allo scenario, al sistema e alla data dell'osservazione. Una raccomandazione senza contesto è difficile da verificare.

Una distinzione utile: menzione, inclusione in una shortlist e raccomandazione

In pratica, è utile separare almeno quattro livelli di presenza del brand.

Menzione

Il brand è presente nella risposta. Non è implicita alcuna preferenza o idoneità.

Esempio: “Diverse aziende pubblicano ricerche sulla visibilità del brand nell'AI, inclusa Brand X.”

Inclusione in una shortlist

Il brand è incluso tra le opzioni che l'utente può considerare, ma la risposta non indica chiaramente una preferenza o un'idoneità.

Esempio: “Potresti confrontare Brand X, Brand Y e Brand Z prima di scegliere un fornitore.”

L'inclusione in una shortlist può essere preziosa. Indica che il sistema ha inserito il brand in un insieme decisionale. Ma non dovrebbe essere automaticamente classificata come raccomandazione.

Raccomandazione

La risposta presenta il brand come adatto a una necessità, un pubblico o un caso d'uso definiti.

Esempio: “Brand X è un'opzione ragionevole per le organizzazioni che necessitano di monitoraggio trimestrale su diverse piattaforme AI.”

Raccomandazione primaria

La risposta conferisce al brand una posizione più prominente rispetto ad altre opzioni o lo presenta esplicitamente come la scelta preferita nelle condizioni dichiarate.

Esempio: “Per questo caso d'uso, inizierei con Brand X perché supporta l'analisi basata su scenari e preserva le risposte sottostanti.”

Non ogni progetto di ricerca necessita di tutte e quattro le categorie. Uno studio più piccolo può utilizzare solo menzione e raccomandazione. Ma la regola di classificazione dovrebbe essere decisa prima che i risultati vengano esaminati, in particolare se lo studio verrà ripetuto nel tempo.

Altrimenti, un cambiamento nel tasso di raccomandazione riportato potrebbe riflettere un'interpretazione modificata piuttosto che un cambiamento nelle risposte stesse.

La raccomandazione è sempre contestuale

Non esiste un tasso di raccomandazione universale che appartenga permanentemente a un brand.

Un brand può essere raccomandato frequentemente per un pubblico e raramente per un altro. Può apparire in domande di categoria ampie ma scomparire quando l'utente aggiunge un mercato, un budget, un requisito tecnico o una località. Può essere nominato in scenari di fase di consapevolezza mentre i concorrenti ricevono raccomandazioni più forti in scenari di confronto o di fase decisionale.

Considera queste domande:

1. “Quali strumenti possono aiutare un team di marketing a capire come i sistemi AI descrivono il suo brand?”

2. “Quale soluzione è adatta per un'agenzia di comunicazione che esegue studi ripetibili sul brand AI per diversi clienti?”

3. “Qual è il modo più economico per verificare se ChatGPT ha menzionato la mia azienda?”

4. “Quali piattaforme possono monitorare le conversazioni sui social media riguardo a un brand di consumo?”

Sono correlate, ma non chiedono la stessa soluzione. Una raccomandazione in uno scenario non può essere trasferita automaticamente a un altro.

Questo è il motivo per cui uno studio difendibile inizia con gli scenari, non con una risposta preferita. Lo scenario dovrebbe descrivere una necessità realistica dell'utente, i vincoli rilevanti e la fase decisionale esaminata. Non dovrebbe essere scritto semplicemente per creare un'opportunità per la comparsa del brand ricercato.

Un pannello ben progettato può includere la scoperta di categorie, il riconoscimento di problemi, il confronto di fornitori, casi d'uso specifici e domande per pubblici definiti. I dati risultanti possono quindi mostrare non solo se il brand appare, ma in quali circostanze è considerato rilevante.

Raccomandazioni sollecitate e spontanee

La distinzione tra presenza sollecitata e spontanea si applica anche alle raccomandazioni.

Una raccomandazione sollecitata si verifica quando l'utente nomina il brand nella domanda:

“Brand X è una buona scelta per monitorare la visibilità dell'AI?”

La risposta può raccomandare il brand, rifiutarlo o descriverne i punti di forza e i limiti. Questo può essere utile per testare come il sistema valuta un'opzione nota. Non mostra se il brand verrebbe scoperto senza una consapevolezza preesistente.

Una raccomandazione spontanea si verifica quando il brand entra nella risposta anche se l'utente non l'ha nominato:

“Quali strumenti dovrebbe considerare un team di marketing quando vuole ricercare come i sistemi AI rappresentano il suo brand?”

Questo è solitamente un segnale più forte di scopribilità non brandizzata. Il sistema stesso ha selezionato il brand per l'inclusione. Tuttavia, il risultato deve essere letto attentamente. La raccomandazione può dipendere dalla formulazione, dalla lingua, dal mercato, dal sistema, dall'accesso web corrente o da altre condizioni di ricerca.

La ricerca sulla valutazione dei modelli linguistici ha ripetutamente dimostrato che cambiamenti apparentemente piccoli nella formulazione del prompt possono influenzare gli output. Questo è uno dei motivi per cui uno studio non dovrebbe trattare una singola domanda conveniente come un quadro completo del comportamento di una piattaforma. Il documento State of What Art? A Call for Multi-Prompt LLM Evaluation è un utile background qui: non riguarda specificamente la ricerca sul brand, ma dimostra perché una formulazione del prompt può produrre conclusioni eccessivamente sicure.

Cosa dovrebbe contare come raccomandazione?

Un framework di misurazione necessita di una regola chiara. La classificazione esatta può variare a seconda dello studio, ma la regola dovrebbe essere esplicita e applicata in modo coerente.

Una risposta può essere classificata come raccomandazione quando soddisfa entrambe le condizioni:

1. identifica il brand come un'opzione rilevante per la necessità, la situazione o i criteri dell'utente; e

2. esprime idoneità, preferenza, adattamento o un chiaro invito a considerare il brand.

I segnali di raccomandazione possono includere frasi come:

• “considera Brand X”;

• “Brand X è adatto per…”;

• “Brand X potrebbe essere adatto se…”;

• “Sceglierei Brand X quando…”;

• “Brand X è una delle opzioni migliori per…”;

• “inizia con Brand X se la tua priorità è…”.

La sola formulazione non è sempre sufficiente. “Puoi considerare Brand X” può essere una debole inclusione in una shortlist se la risposta non fornisce alcun motivo di rilevanza. Al contrario, una risposta può contenere una raccomandazione sostanziale senza usare la parola raccomandare.

Per questo motivo, la classificazione dovrebbe considerare l'intera risposta piuttosto che una frase isolata. Un sistema può prima elencare diversi brand, quindi spiegare quale si adatta al requisito specificato. Può anche raccomandare un brand condizionatamente, pur notando un'importante limitazione. Sia l'adattamento positivo che l'avvertenza dovrebbero essere conservati nelle prove.

Cosa non dovrebbe contare come raccomandazione?

Le seguenti situazioni dovrebbero essere solitamente tenute separate dalle raccomandazioni:

• il brand è semplicemente nominato in un elenco senza alcuna indicazione di idoneità;

• il brand è citato come fonte;

• la risposta descrive il brand in modo fattuale dopo che l'utente l'ha nominato;

• il brand appare come concorrente o punto di confronto;

• il sistema afferma che il brand non è adatto alla necessità dichiarata;

• il prodotto è nominato ma attribuito erroneamente al brand;

• il brand è incluso perché il prompt richiedeva l'elenco di ogni fornitore conosciuto;

• la risposta è troppo vaga per stabilire se il sistema presenta il brand come rilevante.

L'ultima categoria è più importante di quanto possa sembrare. Le risposte AI spesso usano un linguaggio compresso, in particolare in tabelle e brevi elenchi. Se un ricercatore non riesce a determinare se l'idoneità è implicita, il record dovrebbe essere contrassegnato come ambiguo o esaminato secondo una regola documentata. Forzare ogni risposta in una classificazione binaria può creare un livello di precisione fuorviante.

Perché un alto tasso di menzioni può coesistere con un basso tasso di raccomandazioni

Un brand può apparire spesso ma ricevere poche raccomandazioni per diverse ragioni.

Può essere ampiamente riconosciuto ma associato solo a un prodotto o pubblico ristretto. Può essere menzionato principalmente in query sollecitate. Può essere utilizzato come fonte di riferimento piuttosto che come opzione da scegliere. Può apparire in scenari informativi ampi ma non in quelli orientati alla decisione. Può anche essere menzionato insieme ai concorrenti senza essere presentato come adatto alla necessità dell'utente.

È possibile anche il contrario. Un brand specializzato può avere un tasso di menzioni complessivo modesto ma un forte tasso di raccomandazioni all'interno di un piccolo gruppo di scenari altamente rilevanti. Questo può essere più utile di un'ampia visibilità se tali scenari corrispondono a una reale opportunità commerciale.

Nessuno dei due risultati può essere compreso da una singola percentuale.

Un rapporto pratico dovrebbe quindi mostrare almeno:

• il numero di risposte idonee;

• il numero e il tasso di menzioni valide;

• il numero e il tasso di raccomandazioni;

• la suddivisione tra osservazioni sollecitate e spontanee;

• risultati a livello di scenario;

• risultati a livello di sistema;

• le risposte complete o gli estratti di prova rilevanti;

• le regole di conteggio e classificazione.

Per uno studio definito, i calcoli di base sono semplici:

Tasso di menzioni = risposte idonee contenenti una menzione valida ÷ tutte le risposte idonee × 100%

Tasso di raccomandazioni = risposte idonee contenenti una raccomandazione valida ÷ tutte le risposte idonee × 100%

Questi tassi non dovrebbero essere presentati come probabilità che un utente vedrà o riceverà una raccomandazione. Descrivono la proporzione osservata nel particolare campione: scenari selezionati, sistemi, lingua, mercato, data e condizioni di ricerca.

Una raccomandazione può comunque essere inaccurata

Raccomandazione non è sinonimo di rappresentazione positiva.

Un sistema AI può raccomandare un brand sulla base di una capacità che non offre più. Può confondere due entità con nomi simili, attribuire un prodotto all'azienda sbagliata o omettere una limitazione decisiva per l'utente. Può anche raccomandare un fornitore ignorando alternative più adatte.

È qui che la misurazione delle raccomandazioni si collega alla questione più ampia della rappresentazione del brand nei modelli linguistici di grandi dimensioni. Presenza e raccomandazione sono eventi osservabili, ma la qualità della rappresentazione richiede controlli aggiuntivi: accuratezza fattuale, adattamento alla categoria, attribuzione del prodotto, adattamento al pubblico, contesto dei concorrenti, fonti e inquadramento.

Una raccomandazione dovrebbe quindi essere esaminata come una risposta nel contesto, non celebrata automaticamente come un successo.

Lo stesso principio si applica alle allucinazioni del brand. Se un sistema AI raccomanda un'azienda perché ha inventato un prodotto, una località, una certificazione o una partnership, la risposta contiene un evento di raccomandazione ma anche un problema fattuale. Queste osservazioni dovrebbero rimanere distinguibili nel registro della ricerca piuttosto che essere raggruppate in un unico risultato positivo.

Come misurare menzioni e raccomandazioni nel tempo

La ricerca ripetuta può rivelare se la presenza o il modello di raccomandazione osservato di un brand sta cambiando. Ma solo se il nucleo comparativo dello studio rimane stabile.

Le stesse entità, logica dello scenario, pubblici, mercati, sistemi e regole di classificazione dovrebbero essere mantenute ove possibile. I cambiamenti al pannello possono comunque essere necessari man mano che un'azienda si evolve, ma dovrebbero essere documentati e trattati separatamente dalla parte fissa dello studio.

Questa è la differenza tra un'osservazione una tantum e il monitoraggio del brand LLM. Il monitoraggio confronta periodi di ricerca comparabili. Non significa chiedere occasionalmente a un chatbot se gli piace un brand.

Quando un tasso di raccomandazione cambia, le prime domande dovrebbero essere descrittive:

• Quali scenari hanno prodotto il cambiamento?

• Il movimento è stato visibile su diversi sistemi o solo su uno?

• Sono cambiate le raccomandazioni spontanee, le raccomandazioni sollecitate o entrambe?

• Il brand è diventato una raccomandazione primaria o è semplicemente entrato in più shortlist?

• Le raccomandazioni erano fattualmente accurate?

• Cosa è successo al set di concorrenti?

• Le condizioni di ricerca sono rimaste comparabili?

Solo allora un team può decidere se il risultato è probabilmente significativo, richiede ulteriori test o riflette semplicemente la normale variazione della risposta.

Un modello semplice per leggere le risposte AI

Una sequenza utile è:

Entità → scenario → risposta → classificazione → prova

Innanzitutto, definire l'entità: nomi ufficiali del brand, varianti, prodotti e relazioni che consentono un'identificazione valida.

In secondo luogo, definire lo scenario: chi sta chiedendo, di cosa ha bisogno, in quale fase della decisione si trova e quali vincoli contano.

In terzo luogo, preservare la risposta piuttosto che solo un punteggio o un'etichetta sì/no.

In quarto luogo, classificare l'osservazione: nessuna menzione valida, menzione, inclusione in una shortlist, raccomandazione, raccomandazione primaria, raccomandazione negativa o risultato ambiguo.

Infine, conservare le prove necessarie per rivedere la classificazione in seguito: risposta completa, piattaforma, data, lingua, fonti visibili ove disponibili ed eventuali avvertenze pertinenti.

Questo non elimina l'interpretazione dal processo. Rende l'interpretazione verificabile. Impedisce anche che un tasso di menzioni dall'aspetto favorevole venga scambiato per prova che i sistemi AI indirizzano attivamente gli utenti rilevanti verso il brand.

Cosa non significa questa distinzione

Separare le menzioni dalle raccomandazioni non significa che ogni menzione senza raccomandazione sia irrilevante. Riconoscimento, presenza della fonte, inclusione nella categoria e co-occorrenza dei concorrenti possono essere tutte osservazioni utili quando rispondono a una domanda di ricerca definita.

Inoltre, non significa che un tasso di raccomandazione preveda vendite, preferenze o comportamenti dei clienti. Le risposte generate dall'AI non sono un campione rappresentativo della domanda di mercato e la loro formulazione può variare tra sistemi e nel tempo. Una raccomandazione è la prova di ciò che un sistema selezionato ha generato in uno scenario selezionato – né più né meno.

Ancora più importante, un tasso di raccomandazione più elevato non è automaticamente l'obiettivo. La domanda rilevante è se il brand è raccomandato accuratamente, negli scenari in cui appartiene veramente, ai pubblici che può servire e con una rappresentazione coerente con le informazioni verificate.

Ecco perché menzione e raccomandazione dovrebbero essere misurate separatamente. Una ci dice che il brand è entrato nella risposta. L'altra ci dice che il sistema lo ha presentato come un'opzione rilevante. Confonderle può creare una metrica più attraente, ma rimuove la distinzione necessaria per capire cosa stanno realmente dicendo i sistemi AI.

Se desideri esaminare queste osservazioni su scenari e sistemi AI definiti, crea un account Semantio e inizia con uno studio di base.