Menção vs. Recomendação em Respostas de IA

A aparição de uma marca numa resposta gerada por IA não significa necessariamente que o sistema a esteja a recomendar.

Esta distinção é fácil de ignorar, especialmente quando um painel de controlo reporta um único valor de visibilidade ou um estudo é reduzido a uma lista de nomes de marcas. Uma empresa pode ser nomeada como exemplo, citada como fonte, comparada com concorrentes, descrita como inadequada para um caso de uso específico ou incluída apenas porque o utilizador a mencionou na pergunta. Nenhuma destas observações é equivalente a uma recomendação.

Para as equipas que monitorizam a representação da marca em sistemas de IA, a diferença é crucial. Uma menção estabelece presença. Uma recomendação indica que o sistema conectou a marca a uma necessidade do utilizador, contexto de decisão ou critérios de seleção. Estes são eventos relacionados, mas distintos, e devem ser medidos separadamente.

Conforme explicado no nosso guia sobre visibilidade de marca em IA, visibilidade é a presença observável de uma marca, produto, domínio ou entidade relacionada num conjunto definido de respostas geradas por IA. A recomendação é uma forma possível dessa presença. Não é o seu significado padrão.

O que é uma menção de marca numa resposta de IA?

Uma menção de marca ocorre quando um sistema de IA se refere a uma marca, empresa, produto, serviço, domínio ou outra entidade definida ligada à marca.

A definição pode parecer simples, mas um estudo útil requer uma regra mais precisa. Uma referência deve contar apenas quando a resposta identifica a entidade pretendida de forma suficientemente correta para que a observação seja significativa. Um nome de empresa semelhante, um produto incorretamente atribuído ou uma subsidiária confusa não devem ser automaticamente contados como uma menção válida.

Por exemplo, uma resposta de IA pode mencionar uma empresa de várias formas diferentes:

• como fornecedor numa lista de categorias;

• como exemplo usado para explicar um tópico;

• como concorrente de outra marca;

• como editor de uma fonte citada;

• como uma empresa ligada a um evento ou controvérsia passada;

• como uma opção que o utilizador deve evitar;

• porque o prompt nomeou a marca diretamente;

• como um produto sem o ligar claramente à sua marca-mãe.

Todas estas situações podem mostrar que a entidade está presente na resposta. No entanto, não mostram o mesmo sobre a descoberta, adequação ou preferência.

Uma definição operacional prática é:

Uma menção de marca válida é uma referência corretamente identificada a uma entidade de marca definida dentro de uma resposta gerada por IA elegível.

As palavras corretamente identificada e elegível são importantes. Uma resposta pode conter o nome certo, mas ainda se referir a outra organização. Também pode conter a marca porque a pergunta a exigiu explicitamente, o que é valioso para testes de reconhecimento, mas muito menos informativo sobre a descoberta não-marcada.

Nem toda a menção tem o mesmo significado

Uma única taxa de menção pode ocultar diferenças importantes. Considere as seguintes respostas a uma pergunta sobre software para monitorizar como os sistemas de IA descrevem uma marca.

O ponto não é que uma categoria de menção seja sempre mais valiosa do que outra. A interpretação correta depende do propósito da pesquisa. Uma referência apenas de fonte pode ser importante para um editor que procura evidências de que o seu domínio entra no ambiente de fontes de um sistema de IA. Uma menção solicitada pode ser importante quando uma empresa quer testar o reconhecimento de entidades ou a precisão factual. Uma menção espontânea é mais relevante quando a questão diz respeito à descoberta sem um nome de marca no prompt.

O erro é tratar cada ocorrência como prova de que o sistema de IA selecionou ou endossou a marca.

O que é uma recomendação?

Uma recomendação ocorre quando uma resposta de IA apresenta uma marca como uma opção adequada para a necessidade, caso de uso, restrições ou critérios de decisão declarados ou razoavelmente inferidos pelo utilizador.

Uma recomendação pode ser direta:

“Para uma equipa de marketing de média dimensão que precisa de monitorizar menções e recomendações de marca em vários sistemas de IA, considere a Semantio.”

Também pode ser condicional:

“Se a sua prioridade é a pesquisa repetida usando um painel de cenários fixo, a Semantio pode ser uma opção adequada.”

Ou comparativa:

“Entre as ferramentas listadas, a Semantio é a mais adequada para equipas que precisam de analisar respostas completas de IA em vez de acompanhar um único resultado principal.”

Em cada caso, o sistema vai além de nomear a marca. Liga a marca a um contexto de seleção e indica algum grau de adequação.

Isso não significa que a recomendação seja necessariamente correta, justa ou baseada em informações completas. Os sistemas de IA podem fazer recomendações não suportadas, ignorar concorrentes relevantes, usar informações desatualizadas ou inferir capacidades que uma marca não oferece. O facto de um sistema recomendar uma marca é uma observação sobre a resposta gerada. Não é uma prova independente da qualidade do produto ou da superioridade no mercado.

Esta é uma das razões pelas quais os dados de recomendação devem permanecer ligados à resposta completa, ao cenário, ao sistema e à data da observação. Uma recomendação sem contexto é difícil de auditar.

Uma distinção útil: menção, inclusão em lista restrita e recomendação

Na prática, ajuda a separar pelo menos quatro níveis de presença da marca.

Menção

A marca está presente na resposta. Nenhuma preferência ou adequação é implícita.

Exemplo: “Várias empresas publicam pesquisas sobre a visibilidade da marca em IA, incluindo a Marca X.”

Inclusão em lista restrita

A marca está incluída entre as opções que o utilizador pode considerar, mas a resposta não indica claramente uma preferência ou adequação.

Exemplo: “Poderá comparar a Marca X, a Marca Y e a Marca Z antes de escolher um fornecedor.”

A inclusão em lista restrita pode ser valiosa. Indica que o sistema trouxe a marca para um conjunto de decisão. Mas não deve ser automaticamente classificada como uma recomendação.

Recomendação

A resposta apresenta a marca como adequada para uma necessidade, público ou caso de uso definido.

Exemplo: “A Marca X é uma opção razoável para organizações que precisam de monitorização trimestral em várias plataformas de IA.”

Recomendação primária

A resposta dá à marca uma posição mais proeminente do que outras opções ou apresenta-a explicitamente como a escolha preferida sob as condições declaradas.

Exemplo: “Para este caso de uso, eu começaria com a Marca X porque suporta análise baseada em cenários e preserva as respostas subjacentes.”

Nem todo o design de pesquisa precisa de todas as quatro categorias. Um estudo menor pode usar apenas menção e recomendação. Mas a regra de classificação deve ser decidida antes de os resultados serem revistos, particularmente se o estudo for repetido ao longo do tempo.

Caso contrário, uma alteração na taxa de recomendação reportada pode refletir uma interpretação alterada em vez de uma alteração nas próprias respostas.

A recomendação é sempre contextual

Não existe uma taxa de recomendação universal que pertença permanentemente a uma marca.

Uma marca pode ser recomendada frequentemente para um público e raramente para outro. Pode aparecer em perguntas de categoria ampla, mas desaparecer quando o utilizador adiciona um mercado, orçamento, requisito técnico ou localização. Pode ser nomeada em cenários de fase de reconhecimento, enquanto os concorrentes recebem recomendações mais fortes em cenários de comparação ou fase de decisão.

Considere estas perguntas:

1. “Que ferramentas podem ajudar uma equipa de marketing a entender como os sistemas de IA descrevem a sua marca?”

2. “Que solução é adequada para uma agência de comunicação que realiza estudos de marca de IA repetíveis para vários clientes?”

3. “Qual é a forma mais barata de verificar se o ChatGPT mencionou a minha empresa?”

4. “Que plataformas podem monitorizar conversas em redes sociais sobre uma marca de consumo?”

Estão relacionadas, mas não pedem a mesma solução. Uma recomendação num cenário não pode ser transferida automaticamente para outro.

É por isso que um estudo defensável começa com cenários, não com uma resposta preferida. O cenário deve descrever uma necessidade realista do utilizador, restrições relevantes e a fase de decisão que está a ser examinada. Não deve ser escrito apenas para criar uma oportunidade para a marca pesquisada aparecer.

Um painel bem desenhado pode incluir descoberta de categoria, reconhecimento de problemas, comparação de fornecedores, casos de uso específicos e perguntas para públicos definidos. Os dados resultantes podem então mostrar não apenas se a marca aparece, mas em que circunstâncias é tratada como relevante.

Recomendações solicitadas e espontâneas

A distinção entre presença solicitada e espontânea também se aplica às recomendações.

Uma recomendação solicitada acontece quando o utilizador nomeia a marca na pergunta:

“A Marca X é uma boa escolha para monitorizar a visibilidade em IA?”

A resposta pode recomendar a marca, rejeitá-la ou descrever os seus pontos fortes e limitações. Isto pode ser útil para testar como o sistema avalia uma opção conhecida. Não mostra se a marca seria descoberta sem conhecimento prévio.

Uma recomendação espontânea acontece quando a marca entra na resposta, embora o utilizador não a tenha nomeado:

“Que ferramentas uma equipa de marketing deve considerar quando quer pesquisar como os sistemas de IA representam a sua marca?”

Este é geralmente um sinal mais forte de descoberta não-marcada. O próprio sistema selecionou a marca para inclusão. Ainda assim, o resultado deve ser lido cuidadosamente. A recomendação pode depender da formulação, idioma, mercado, sistema, acesso web atual ou outras condições de pesquisa.

A pesquisa sobre avaliação de modelos de linguagem tem mostrado repetidamente que mudanças aparentemente pequenas na formulação do prompt podem afetar as saídas. Essa é uma das razões pelas quais um estudo não deve tratar uma única pergunta conveniente como uma imagem completa do comportamento de uma plataforma. O artigo State of What Art? A Call for Multi-Prompt LLM Evaluation é um contexto útil aqui: não diz respeito especificamente à pesquisa de marca, mas demonstra por que uma formulação de prompt pode produzir conclusões excessivamente confiantes.

O que deve contar como uma recomendação?

Um quadro de medição precisa de uma regra clara. A classificação exata pode variar por estudo, mas a regra deve ser explícita e aplicada consistentemente.

Uma resposta pode ser classificada como uma recomendação quando cumpre ambas as condições:

1. identifica a marca como uma opção relevante para a necessidade, situação ou critérios do utilizador; e

2. expressa adequação, preferência, ajuste ou um convite claro para considerar a marca.

Sinais de recomendação podem incluir frases como:

• “considere a Marca X”;

• “A Marca X é um bom ajuste para…”;

• “A Marca X pode ser adequada se…”;

• “Eu escolheria a Marca X quando…”;

• “A Marca X é uma das melhores opções para…”;

• “comece com a Marca X se a sua prioridade é…”.

A formulação por si só nem sempre é suficiente. “Pode considerar a Marca X” pode ser uma fraca inclusão em lista restrita se a resposta não der nenhuma razão para a relevância. Por outro lado, uma resposta pode conter uma recomendação substantiva sem usar a palavra recomendar.

Por esta razão, a classificação deve considerar a resposta completa em vez de uma frase isolada. Um sistema pode primeiro listar várias marcas, depois explicar qual delas se adequa ao requisito especificado. Também pode recomendar uma marca condicionalmente, observando uma limitação importante. Tanto o ajuste positivo quanto a ressalva devem ser preservados na evidência.

O que não deve contar como uma recomendação?

As seguintes situações devem geralmente ser mantidas separadas das recomendações:

• a marca é meramente nomeada numa lista sem qualquer indicação de adequação;

• a marca é citada como fonte;

• a resposta descreve a marca factualmente depois de o utilizador a ter nomeado;

• a marca aparece como concorrente ou ponto de comparação;

• o sistema diz que a marca não é adequada para a necessidade declarada;

• o produto é nomeado, mas incorretamente atribuído à marca;

• a marca é incluída porque o prompt exigia que todos os fornecedores conhecidos fossem listados;

• a resposta é demasiado vaga para estabelecer se o sistema apresenta a marca como relevante.

A última categoria importa mais do que pode parecer. As respostas de IA frequentemente usam linguagem comprimida, particularmente em tabelas e listas curtas. Se um pesquisador não conseguir determinar se a adequação está implícita, o registo deve ser marcado como ambíguo ou revisto sob uma regra documentada. Forçar cada resposta a uma classificação binária pode criar um nível enganoso de precisão.

Porque uma alta taxa de menções pode coexistir com uma baixa taxa de recomendações

Uma marca pode aparecer frequentemente, mas receber poucas recomendações por várias razões.

Pode ser amplamente reconhecida, mas associada apenas a um produto ou público restrito. Pode ser mencionada principalmente em consultas solicitadas. Pode ser usada como fonte de referência em vez de uma opção a escolher. Pode aparecer em cenários informativos amplos, mas não em cenários orientados para a decisão. Também pode ser mencionada ao lado de concorrentes sem ser apresentada como um ajuste para a necessidade do utilizador.

O inverso também é possível. Uma marca especializada pode ter uma taxa de menções geral modesta, mas uma forte taxa de recomendações dentro de um pequeno grupo de cenários altamente relevantes. Isso pode ser mais útil do que uma visibilidade ampla se esses cenários corresponderem a uma oportunidade comercial real.

Nenhum dos resultados pode ser compreendido a partir de uma única percentagem.

Um relatório prático deve, portanto, mostrar pelo menos:

• o número de respostas elegíveis;

• o número e a taxa de menções válidas;

• o número e a taxa de recomendações;

• a divisão entre observações solicitadas e espontâneas;

• resultados ao nível do cenário;

• resultados ao nível do sistema;

• as respostas completas ou extratos de evidências relevantes;

• as regras de contagem e classificação.

Para um estudo definido, os cálculos básicos são simples:

Taxa de menções = respostas elegíveis contendo uma menção válida ÷ todas as respostas elegíveis × 100%

Taxa de recomendações = respostas elegíveis contendo uma recomendação válida ÷ todas as respostas elegíveis × 100%

Estas taxas não devem ser apresentadas como probabilidades de que qualquer utilizador verá ou receberá uma recomendação. Descrevem a proporção observada na amostra particular: cenários selecionados, sistemas, idioma, mercado, data e condições de pesquisa.

Uma recomendação ainda pode ser imprecisa

Recomendação não é sinónimo de representação positiva.

Um sistema de IA pode recomendar uma marca com base numa capacidade que já não oferece. Pode confundir duas entidades com nomes semelhantes, atribuir um produto à empresa errada ou omitir uma limitação que é decisiva para o utilizador. Também pode recomendar um fornecedor, ignorando alternativas mais adequadas.

É aqui que a medição da recomendação se conecta com a questão mais ampla da representação da marca em grandes modelos de linguagem. Presença e recomendação são eventos observáveis, mas a qualidade da representação requer verificações adicionais: precisão factual, adequação à categoria, atribuição do produto, adequação ao público, contexto do concorrente, fontes e enquadramento.

Uma recomendação deve, portanto, ser revista como uma resposta em contexto, não celebrada automaticamente como um sucesso.

O mesmo princípio aplica-se às alucinações de marca. Se um sistema de IA recomenda uma empresa porque inventou um produto, localização, certificação ou parceria, a resposta contém um evento de recomendação, mas também um problema factual. Estas observações devem permanecer distinguíveis no registo da pesquisa, em vez de serem colapsadas num único resultado positivo.

Como medir menções e recomendações ao longo do tempo

A pesquisa repetida pode revelar se o padrão de presença ou recomendação observado de uma marca está a mudar. Mas apenas se o núcleo comparativo do estudo permanecer estável.

As mesmas entidades, lógica de cenário, públicos, mercados, sistemas e regras de classificação devem ser mantidos sempre que possível. Alterações no painel ainda podem ser necessárias à medida que um negócio evolui, mas devem ser documentadas e tratadas separadamente da parte fixa do estudo.

Esta é a diferença entre uma observação pontual e a monitorização de marcas em LLM. A monitorização compara períodos de pesquisa comparáveis. Não significa perguntar ocasionalmente a um chatbot se ele gosta de uma marca.

Quando uma taxa de recomendação muda, as primeiras perguntas devem ser descritivas:

• Que cenários produziram a mudança?

• O movimento foi visível em vários sistemas ou apenas num?

• As recomendações espontâneas mudaram, as recomendações solicitadas mudaram, ou ambas?

• A marca tornou-se uma recomendação primária ou apenas entrou em mais listas restritas?

• As recomendações foram factualmente precisas?

• O que aconteceu ao conjunto de concorrentes?

• As condições de pesquisa permaneceram comparáveis?

Só então uma equipa pode decidir se o resultado é provavelmente significativo, requer testes adicionais ou simplesmente reflete a variação normal da resposta.

Um modelo simples para ler respostas de IA

Uma sequência útil é:

Entidade → cenário → resposta → classificação → evidência

Primeiro, defina a entidade: nomes oficiais da marca, variantes, produtos e relações que permitem uma identificação válida.

Segundo, defina o cenário: quem está a perguntar, o que precisa, em que fase da decisão está e que restrições importam.

Terceiro, preserve a resposta em vez de apenas uma pontuação ou um rótulo sim/não.

Quarto, classifique a observação: nenhuma menção válida, menção, inclusão em lista restrita, recomendação, recomendação primária, recomendação negativa ou resultado ambíguo.

Finalmente, retenha a evidência necessária para rever a classificação posteriormente: resposta completa, plataforma, data, idioma, fontes visíveis onde disponíveis e quaisquer ressalvas relevantes.

Isto não remove a interpretação do processo. Torna a interpretação revisável. Também impede que uma taxa de menções favorável seja confundida com evidência de que os sistemas de IA direcionam ativamente utilizadores relevantes para a marca.

O que esta distinção não significa

Separar menções de recomendações não significa que toda a menção sem uma recomendação seja irrelevante. Reconhecimento, presença de fonte, inclusão de categoria e coocorrência de concorrentes podem ser observações úteis quando respondem a uma questão de pesquisa definida.

Também não significa que uma taxa de recomendação preveja vendas, preferência ou comportamento do cliente. As respostas geradas por IA não são uma amostra representativa da procura do mercado, e a sua formulação pode variar entre sistemas e ao longo do tempo. Uma recomendação é evidência do que um sistema selecionado gerou num cenário selecionado – nem mais nem menos.

Mais importante ainda, uma taxa de recomendação mais alta não é automaticamente o objetivo. A questão relevante é se a marca é recomendada com precisão, nos cenários onde realmente pertence, para os públicos que pode servir e com uma representação consistente com informações verificadas.

É por isso que menção e recomendação devem ser medidas separadamente. Uma diz-nos que a marca entrou na resposta. A outra diz-nos que o sistema a apresentou como uma opção relevante. Confundi-las pode criar uma métrica mais atraente, mas remove a distinção necessária para entender o que os sistemas de IA estão realmente a dizer.

Se deseja examinar essas observações em cenários e sistemas de IA definidos, crie uma conta Semantio e comece com um estudo de linha de base.