Cos'è il monitoraggio del brand tramite LLM?

Il fatto che ChatGPT abbia menzionato un brand in una risposta oggi non significa che lo farà di nuovo la prossima settimana. Né sappiamo se Gemini, Claude, Perplexity o un altro sistema farebbero la stessa raccomandazione.

Una singola risposta può fornire un'osservazione preziosa. Non è, tuttavia, monitoraggio.

Per determinare se la presenza, la rappresentazione o la posizione di un brand rispetto ai concorrenti stia cambiando, dobbiamo ripetere studi comparabili. Solo una serie di misurazioni può rivelare se un risultato è un evento isolato, una fluttuazione di breve durata o un cambiamento che persiste nel tempo.

Il monitoraggio del brand tramite LLM è l'esecuzione ripetuta di uno studio definito e il confronto dei suoi risultati nel tempo. Lo studio dovrebbe coprire le stesse entità, scenari, pubblici, mercati e criteri di valutazione, mentre eventuali modifiche alle condizioni di ricerca dovrebbero essere documentate.

Il monitoraggio non è quindi una questione di chiedere occasionalmente a un modello informazioni su un'azienda. È un processo di ricerca che richiede una metodologia coerente, prove conservate e un'attenta interpretazione.

Cosa monitoriamo esattamente?

La risposta più semplice è che monitoriamo come i sistemi generativi rispondono a domande che contano per un brand.

Questo non si limita a verificare se appare il nome del brand. Come spieghiamo nel nostro articolo sulla rappresentazione del brand nei modelli linguistici di grandi dimensioni, la rappresentazione di un brand può includere:

• se il brand è presente o assente da una risposta;

• se viene menzionato spontaneamente, senza essere nominato nel prompt;

• se viene raccomandato all'utente;

• gli attributi, i prodotti e le capacità ad esso associati;

• il tono e il contesto della risposta;

• i pubblici e i casi d'uso con cui il brand è associato;

• i concorrenti che appaiono nello stesso contesto;

• le fonti utilizzate o citate dal sistema;

• errori fattuali, informazioni obsolete e allucinazioni.

Il monitoraggio può quindi coprire sia la visibilità del brand sia la qualità della rappresentazione del brand. Questa distinzione è importante. Un brand può essere menzionato frequentemente, ma apparire nel contesto sbagliato, essere associato a un'offerta obsoleta o essere raccomandato a un pubblico che non serve più.

Vale quindi la pena misurare separatamente la presenza del brand, le raccomandazioni, il contesto, l'accuratezza fattuale e le relazioni con i concorrenti. La percentuale di risposte contenenti il nome di un'azienda non fornisce il quadro completo. Approfondiamo questa distinzione nella nostra guida alla visibilità del brand nell'IA.

Monitoraggio versus audit una tantum

Un audit e un monitoraggio continuo non sono la stessa cosa, sebbene un audit ben progettato possa diventare il punto di partenza per il monitoraggio.

Un audit risponde principalmente alla domanda: come è rappresentato il brand oggi? Stabilisce una base di riferimento, identifica i problemi ed evidenzia le aree che richiedono ulteriore osservazione.

Il monitoraggio aggiunge la dimensione del tempo:

• Il brand viene menzionato più o meno frequentemente?

• La sua quota di raccomandazioni è aumentata?

• Gli errori precedentemente rilevati sono scomparsi?

• Nuovi prodotti stanno iniziando ad apparire nelle risposte?

• Un concorrente ha preso possesso di un particolare argomento o scenario?

• Le attività di comunicazione hanno prodotto un cambiamento osservabile nelle misurazioni successive?

Se l'audit iniziale è stato condotto senza un pannello di domande, criteri di valutazione e registrazioni delle risposte chiaramente definiti, riprodurlo in seguito potrebbe rivelarsi difficile. Uno studio di base dovrebbe quindi utilizzare una metodologia progettata per la ripetizione fin dall'inizio.

Brand Semantics descrive un approccio pratico per creare tale base di riferimento nella sua guida, Come eseguire un audit di visibilità AI.

Un audit fornisce un punto di riferimento. Il monitoraggio rivela la direzione e la portata del cambiamento. Senza una base di riferimento credibile, tuttavia, è difficile determinare se un risultato successivo rappresenti un vero miglioramento.

Monitoraggio versus stabilità della risposta

Questa è una delle distinzioni metodologiche più importanti.

Il monitoraggio confronta i risultati raccolti in diversi momenti. Un test di stabilità esamina quanto le risposte variano in condizioni simili all'interno dello stesso periodo di ricerca.

Se un brand è apparso in sei risposte su dieci a gennaio e in otto su dieci a febbraio, non possiamo automaticamente concludere che la sua visibilità sia aumentata. Dobbiamo prima comprendere la variabilità naturale all'interno di ciascun periodo di misurazione.

La ricerca sulla valutazione dei modelli mostra che i risultati possono essere sensibili anche a istruzioni parafrasate. Gli autori di State of What Art? A Call for Multi-Prompt LLM Evaluation sostengono che la valutazione basata su una singola formulazione di prompt può portare a conclusioni eccessivamente sicure.

Ciò non significa che ogni studio debba essere ripetuto indefinitamente. Significa che la metodologia dovrebbe riflettere il rischio e il significato della decisione che la ricerca intende supportare.

Una differenza tra due periodi di misurazione non è automaticamente una tendenza. Può indicarne una, ma dobbiamo prima distinguerla dalla variabilità generativa e dai cambiamenti nelle condizioni di ricerca.

Perché i risultati possono cambiare?

Un cambiamento nell'indicatore non significa sempre che il brand stesso sia cambiato. Diversi meccanismi possono esserne responsabili.

L'ambiente informativo del brand è cambiato

Potrebbero essere apparsi nuovi articoli, rapporti, pagine di prodotto, recensioni, materiali PR e contenuti dei concorrenti. Altre fonti potrebbero essere scomparse o essere diventate obsolete.

Questi cambiamenti non devono necessariamente provenire dal brand stesso. Un concorrente potrebbe pubblicare informazioni più chiare, complete o meglio collegate e di conseguenza iniziare ad apparire più spesso nelle risposte.

Il sistema o il suo processo di recupero delle informazioni è cambiato

I sistemi generativi possono utilizzare modelli, componenti di ricerca, tecniche di espansione delle query e meccanismi di selezione delle fonti diversi. Google spiega che AI Overviews e AI Mode possono utilizzare modelli e tecniche diversi, il che significa che sia le risposte che i link di supporto possono variare.

Se la versione del modello, l'interfaccia o l'accesso alle informazioni web attuali cambiano, ciò dovrebbe essere documentato come parte delle condizioni di ricerca.

Le condizioni di ricerca sono cambiate

Lingua, posizione, impostazioni dell'account, accesso alla ricerca web, formulazione delle domande e l'insieme dei concorrenti nominati possono tutti influenzare la risposta.

"Quale strumento dovrei scegliere?" e "Qual è lo strumento migliore?" possono sembrare simili, ma possono attivare criteri di valutazione diversi. Se i prompt cambiano tra i periodi di misurazione, non stiamo più lavorando con esattamente lo stesso pannello.

La variabilità generativa ha influenzato i risultati

I modelli linguistici non producono sempre risposte identiche. Possono selezionare esempi diversi, cambiare l'ordine di un elenco o omettere un brand che hanno menzionato in un'esecuzione precedente.

Non ogni differenza è prova di una rappresentazione del brand modificata.

Cosa dovrebbe rimanere costante?

Non possiamo congelare i sistemi in studio, ma possiamo controllare il cuore della ricerca.

I seguenti elementi dovrebbero rimanere il più coerenti possibile:

• il brand e le sue varianti di nome;

• i prodotti, i servizi e le altre entità incluse nello studio;

• i pubblici e le persone;

• i casi d'uso;

• le fasi del processo decisionale;

• il pannello di domande e le sue regole di esecuzione;

• la lingua, il mercato e la posizione;

• i sistemi testati;

• le regole di classificazione delle risposte;

• il modo in cui vengono calcolati gli indicatori;

• le risposte complete e le date di ogni misurazione.

Qualsiasi cambiamento inevitabile dovrebbe essere registrato. Se è necessario introdurre nuove domande, è spesso meglio aggiungerle come modulo separato, preservando il pannello comparativo fisso.

Una regola pratica è adattare lo studio quando l'azienda lo richiede, ma non riscrivere mai la sua storia. Conservare le definizioni e i risultati precedenti in modo da poter determinare se il brand è cambiato, la metodologia è cambiata o entrambi sono cambiati.

Con quale frequenza dovrebbe essere condotto il monitoraggio del brand?

Non esiste una singola frequenza adatta a ogni organizzazione.

Il monitoraggio mensile può essere appropriato quando:

• il mercato cambia rapidamente;

• il brand sta conducendo comunicazioni intensive;

• vengono lanciati nuovi prodotti o servizi;

• i concorrenti sono molto attivi;

• il rischio reputazionale è significativo.

Il monitoraggio trimestrale può essere sufficiente per le organizzazioni con un'offerta stabile, cicli di acquisto più lunghi e un ritmo di comunicazione più lento.

Ulteriori misurazioni possono essere giustificate in seguito a:

• un cambiamento di posizionamento;

• un lancio di prodotto o l'ingresso in un nuovo mercato;

• un importante redesign del sito web o dell'architettura dei contenuti;

• una crisi reputazionale;

• una fusione, acquisizione o rebranding;

• una campagna di comunicazione importante;

• un cambiamento significativo in uno dei sistemi monitorati.

Una misurazione più frequente non è sempre migliore. Se il risultato fluttua quotidianamente ma l'organizzazione prende decisioni trimestralmente, una misurazione eccessiva può generare avvisi anziché informazioni utili.

Il programma di monitoraggio dovrebbe riflettere il ritmo del cambiamento, il livello di rischio e il ciclo decisionale dell'organizzazione.

In uno dei nostri progetti, abbiamo monitorato una campagna sociale condotta all'inizio dell'anno. Era una finestra di comunicazione particolarmente impegnativa: l'ondata stagionale di donazioni di beneficenza legate al Natale si stava appena ritirando, mentre l'intensa promozione che circondava il finale della Grande Orchestra di Carità di Natale (WOŚP) stava già dominando l'attenzione pubblica e mediatica. La campagna ha quindi dovuto competere per la visibilità tra due ondate eccezionalmente forti di comunicazione sociale.

Una misurazione convenzionale prima della campagna e un'altra dopo non avrebbero rivelato abbastanza sulla dinamica del cambiamento. Abbiamo aumentato la frequenza di misurazione in modo da poter osservare più precisamente quando la narrativa della campagna ha iniziato ad apparire nelle risposte dei sistemi generativi. Allo stesso tempo, abbiamo condotto ulteriori indagini esplorative e variato parametri di ricerca selezionati sostituendo alcuni degli scenari pur mantenendo un nucleo comparativo fisso.

Ciò ci ha permesso di distinguere il movimento negli indicatori principali dai segnali emergenti in contesti più nuovi e attuali. Il progetto ha dimostrato che una maggiore frequenza di misurazione può essere necessaria in circostanze eccezionali, ma non dovrebbe significare cambiare l'intera metodologia senza controllo. La parte stabile dello studio ha preservato la comparabilità, mentre gli scenari variabili ci hanno aiutato a catturare come i sistemi rispondevano man mano che la campagna si sviluppava.

Come dovrebbe essere interpretato un cambiamento nei risultati?

Non dovremmo mai guardare solo al punteggio medio.

Se la visibilità aumenta dal 40% al 50%, dobbiamo esaminare:

• quali sistemi hanno prodotto il cambiamento;

• quali persone e scenari sono stati responsabili;

• se il brand è stato semplicemente menzionato o attivamente raccomandato;

• se le informazioni erano corrette;

• cosa è successo ai concorrenti;

• se il miglioramento è stato diffuso o limitato a un piccolo numero di domande;

• se il numero di osservazioni era sufficiente a supportare la conclusione.

Ogni indicatore dovrebbe essere presentato insieme al suo denominatore. Un cambiamento da una risposta positiva a due rappresenta un aumento del 100%, ma si basa comunque solo su due risposte.

I risultati quantitativi dovrebbero anche essere accompagnati da prove qualitative: la risposta completa, il suo contesto, i concorrenti menzionati, le fonti citate e il ragionamento utilizzato dal sistema.

Il monitoraggio non è una ricerca di opinione pubblica. Non dimostra che i clienti percepiscono il brand allo stesso modo, né dimostra che un cambiamento si tradurrà direttamente in vendite. Mostra ciò che i sistemi selezionati hanno generato in condizioni di ricerca definite.

Uno dei nostri studi ha prodotto un punteggio di visibilità eccezionalmente alto per un brand del settore alberghiero nella primissima esecuzione. Il risultato era molto più forte di quanto avremmo potuto ragionevolmente aspettarci data la posizione della proprietà sul mercato e la sua breve storia – aveva aperto solo pochi mesi prima.

A prima vista, i dati sembravano una prova di un successo di comunicazione insolitamente rapido. Solo una revisione delle risposte complete ha rivelato che i modelli linguistici attribuivano erroneamente la proprietà a una catena alberghiera internazionale molto più grande. Sulla base di una parziale somiglianza nel nome o nel contesto, i sistemi hanno inferito una relazione che non esisteva.

La proprietà stava quindi ricevendo una visibilità che non era stata generata dalla sua impronta informativa. Era una visibilità creata da un'errata identificazione dell'entità. L'eccessiva interpretazione dei modelli ha portato a una sostanziale sovrastima degli indicatori di performance sottostanti.

Questo caso ha dimostrato perché l'analisi non può fermarsi a una percentuale. Se non avessimo esaminato le risposte e il modo in cui l'entità era stata identificata, avremmo presentato al cliente un quadro attraente ma fondamentalmente fuorviante. Un punteggio elevato non indica sempre una posizione forte – a volte espone un problema di risoluzione dell'entità.

Cosa dovremmo fare quando viene rilevato un cambiamento?

Un processo di monitoraggio utile dovrebbe portare a una decisione, non semplicemente a un altro grafico.

1. Confermare il risultato

Ripetere gli scenari pertinenti o eseguire un ulteriore controllo di stabilità. Determinare se il cambiamento persiste tra i sistemi e le formulazioni di prompt equivalenti.

2. Localizzare il cambiamento

Identificare i sistemi, i pubblici, i prodotti, gli scenari e le fasi del percorso decisionale in cui si è verificata la differenza.

3. Classificare il cambiamento

Determinare se riguarda:

• presenza del brand;

• raccomandazione;

• accuratezza fattuale;

• contesto o sentimento;

• posizionamento dei concorrenti;

• fonti;

• allucinazione o errata identificazione dell'entità.

4. Confrontare il risultato con l'identità del brand desiderata

Chiedere se la rappresentazione emergente è coerente con il modo in cui l'organizzazione vuole essere compresa.

5. Analizzare fonti e lacune informative

Verificare se le informazioni pertinenti sono disponibili, aggiornate, esplicite e coerenti nell'ecosistema digitale del brand.

È qui che servizi come Semantic Health possono aiutare a identificare contraddizioni, relazioni mancanti e debolezze nell'infrastruttura informativa del brand.

6. Selezionare l'azione appropriata

A seconda della diagnosi, il passo successivo può comportare la correzione di informazioni fattuali, il rafforzamento delle relazioni tra entità, l'aggiornamento dei contenuti dei prodotti, il miglioramento dell'architettura dei contenuti o la pubblicazione di nuovi materiali basati su prove.

Laddove il problema riguarda il modo in cui le informazioni sono strutturate e interpretate dai sistemi AI, AI-First Content Engineering fornisce un framework per la progettazione di contenuti attorno a entità, relazioni e affermazioni chiaramente espresse.

Il ruolo più ampio di questa infrastruttura è spiegato in Semantica del brand come infrastruttura per la ricerca AI.

7. Misurare di nuovo

Un'azione correttiva non è completa quando il contenuto viene pubblicato. La prossima misurazione dovrebbe valutare se il cambiamento atteso appare e se sono emersi effetti indesiderati altrove.

Come supporta Semantio il monitoraggio del brand?

Eseguire un test manualmente è semplice. La complessità aumenta quando uno studio include più pubblici, prodotti, concorrenti, scenari e sistemi generativi – e quando i record comparabili devono essere conservati nel tempo.

Semantio organizza lo studio attorno all'identità del brand. Consente ai team di definire prodotti, pubblici e concorrenti, e quindi di costruire scenari di test basati su queste entità.

I risultati possono essere analizzati nell'intero studio, nonché a livello di singole domande e sistemi. Ciò consente di andare oltre i semplici conteggi di menzioni e di ispezionare le prove dietro gli indicatori.

La piattaforma non elimina la necessità di interpretazione. Supporta la misurazione coerente, il confronto strutturato e la conservazione dei record di ricerca – gli elementi necessari affinché il monitoraggio diventi un processo aziendale ripetibile anziché una raccolta di screenshot.

Vorresti stabilire come il tuo brand è rappresentato nei sistemi AI oggi e monitorare come tale rappresentazione cambia? Crea il tuo account Semantio e imposta la tua prima misurazione di base.

Domande frequenti

Il monitoraggio del brand tramite LLM è lo stesso del social listening?

No. Il social listening analizza i contenuti pubblicati da persone e organizzazioni su piattaforme sociali e altri canali pubblici. Il monitoraggio LLM esamina le risposte generate dai sistemi AI in risposta a scenari definiti.

I due approcci possono completarsi a vicenda, ma misurano fenomeni diversi.

È sufficiente chiedere regolarmente una domanda a ChatGPT?

No. Una singola domanda non rappresenta la gamma di pubblici, esigenze, prodotti, fasi decisionali e contesti competitivi rilevanti per un brand. Inoltre, non fornisce una base sufficiente per distinguere una tendenza dalla normale variabilità della risposta.

Un'alta visibilità è sempre vantaggiosa?

No. Un brand può essere molto visibile perché viene travisato, confuso con un'altra entità o menzionato in un contesto sfavorevole. La visibilità dovrebbe sempre essere analizzata insieme all'accuratezza, alla pertinenza e alla natura della raccomandazione.

L'aggiornamento di un sito web cambierà immediatamente le risposte del modello?

Non necessariamente. I cambiamenti possono essere scoperti, elaborati e riflessi a velocità diverse, a seconda del sistema e dei meccanismi che utilizza. Alcune risposte possono anche basarsi su fonti esterne anziché sul sito web del brand.

Il monitoraggio può identificare la causa di ogni cambiamento?

No. Può rivelare dove e come il risultato è cambiato, ma potrebbe non sempre fornire prove definitive di causalità. In molti casi, la causa deve essere inferita combinando l'analisi delle risposte, la revisione delle fonti e la conoscenza dei cambiamenti nell'ambiente informativo del brand.

Cosa dovremmo monitorare esattamente?

Il monitoraggio del brand tramite LLM è uno studio ripetibile, non una raccolta di conversazioni ad hoc con chatbot.

Il suo valore dipende da:

• una base di riferimento chiaramente definita;

• un pannello stabile di entità e scenari;

• condizioni di ricerca documentate;

• distinguere il cambiamento a lungo termine dalla variabilità della risposta;

• analizzare sia gli indicatori che le prove sottostanti complete;

• collegare i risultati a specifiche decisioni aziendali e di comunicazione.

La domanda più importante non è quindi semplicemente: "Il modello ha menzionato il nostro brand?"

Dovrebbe essere:

Il modo in cui i sistemi AI rappresentano il nostro brand sta cambiando nel tempo – e se sì, dove, in quale direzione e con quali implicazioni per il pubblico?