Згадка про бренд у відповіді, згенерованій AI, не завжди означає, що система його рекомендує.
Цю відмінність легко пропустити, особливо коли інформаційна панель відображає єдине число видимості або дослідження зводиться до списку назв брендів. Компанія може бути названа як приклад, згадана як джерело, порівняна з конкурентами, описана як невідповідна для певного випадку використання або включена лише тому, що користувач згадав її у запитанні. Жодне з цих спостережень не є еквівалентом рекомендації.
Для команд, які контролюють представлення бренду в системах AI, ця різниця має значення. Згадка встановлює присутність. Рекомендація вказує на те, що система пов'язала бренд з потребами користувача, контекстом прийняття рішення або критеріями відбору. Це пов'язані, але окремі події, і їх слід вимірювати окремо.
Як пояснюється в нашому посібнику з видимості бренду в AI, видимість є спостережуваною присутністю бренду, продукту, домену або пов'язаної сутності в визначеному наборі відповідей, згенерованих AI. Рекомендація є однією з можливих форм цієї присутності. Це не її стандартне значення.
Що таке згадка про бренд у відповіді AI?
Згадка про бренд відбувається, коли система AI посилається на бренд, компанію, продукт, послугу, домен або іншу визначену сутність, пов'язану з брендом.
Визначення може звучати просто, але корисне дослідження потребує більш точного правила. Згадка повинна враховуватися лише тоді, коли відповідь правильно ідентифікує цю сутність достатньо точно, щоб спостереження було значущим. Схоже ім'я компанії, неправильно приписаний продукт або плутана дочірня компанія не повинні автоматично вважатися дійсною згадкою.
Наприклад, відповідь AI може згадувати компанію кількома різними способами:
як постачальника в списку категорій;
як приклад, використаний для пояснення теми;
як конкурента іншого бренду;
як видавця цитованого джерела;
як компанію, пов'язану з минулою подією або суперечкою;
як варіант, якого користувач повинен уникати;
тому що запит безпосередньо назвав бренд;
як продукт, без чіткого зв'язку з його материнським брендом.
Усі ці випадки можуть свідчити про те, що сутність присутня у відповіді. Проте вони не свідчать про те ж саме щодо виявлення, придатності чи переваги.
Практичне операційне визначення таке:
Дійсна згадка про бренд — це правильно ідентифіковане посилання на визначену сутність бренду в допустимій відповіді, згенерованій AI.
Слова правильно ідентифіковане та допустиме є важливими. Відповідь може містити правильну назву, але все ще стосуватися іншої організації. Вона також може містити бренд, оскільки запит явно вимагав цього, що цінно для тестування розпізнавання, але набагато менш інформативно щодо виявлення без бренду.
Не кожна згадка має однакове значення
Єдиний показник згадок може приховувати важливі відмінності. Розгляньте наступні відповіді на запитання про програмне забезпечення для моніторингу того, як системи AI описують бренд.
Відповідь AI | Дійсна згадка? | Рекомендація? | Що це показує |
|---|---|---|---|
“Semantio, Tool A та Tool B моніторять представлення бренду в AI-відповідях.” | Так | Не обов'язково | Бренд включено в список на рівні категорії. |
“Якщо вам потрібні повторювані дослідження в різних сценаріях і системах, Semantio може бути вартою уваги.” | Так | Так | Бренд пов'язаний із зазначеною потребою. |
“Вебсайт Semantio обговорює моніторинг брендів LLM.” | Так | Ні | Бренд використовується як джерело або фактичне посилання. |
“На відміну від Semantio, Tool A зосереджується лише на традиційних рейтингах пошуку.” | Так | Ні | Бренд присутній у порівнянні. |
“Не обирайте Semantio, якщо вам потрібно лише соціальне прослуховування.” | Так | Ні | Бренд явно представлений як невідповідний для зазначеної потреби. |
“Що робить Semantio?” → “Semantio — це інструмент для дослідження представлення бренду в системах AI.” | Так | Ні | Це спонукане розпізнавання, а не спонтанне виявлення. |
Суть не в тому, що одна категорія згадок завжди більш цінна за іншу. Правильна інтерпретація залежить від мети дослідження. Посилання лише на джерело може мати значення для видавця, який шукає докази того, що його домен входить до джерельного середовища системи AI. Спонукана згадка може бути важливою, коли бізнес хоче перевірити розпізнавання сутностей або фактичну точність. Спонтанна згадка є більш актуальною, коли запит стосується виявлення без назви бренду в запиті.
Помилка полягає в тому, щоб розглядати кожен випадок як доказ того, що система AI вибрала або підтримала бренд.
Що таке рекомендація?
Рекомендація відбувається, коли відповідь AI представляє бренд як підходящий варіант для зазначеної або розумно виведеної потреби, випадку використання, обмежень або критеріїв прийняття рішення.
Рекомендація може бути прямою:
“Для середньої маркетингової команди, яка потребує моніторингу згадок про бренд і рекомендацій у кількох системах AI, розгляньте Semantio.”
Вона також може бути умовною:
“Якщо вашою пріоритетною метою є повторюване дослідження з використанням фіксованої панелі сценаріїв, Semantio може бути підходящим варіантом.”
Або порівняльною:
“Серед перерахованих інструментів Semantio є найкращим вибором для команд, які потребують аналізу повних відповідей AI, а не відстеження єдиного заголовкового показника.”
У кожному випадку система виходить за межі називання бренду. Вона пов'язує бренд з контекстом вибору та вказує на певний ступінь придатності.
Це не означає, що рекомендація обов'язково є правильною, справедливою або базується на повній інформації. Системи AI можуть робити непідтримувані рекомендації, не помічати відповідних конкурентів, використовувати застарілу інформацію або виводити можливості, яких бренд не пропонує. Той факт, що система рекомендує бренд, є спостереженням про згенеровану відповідь. Це не є незалежним доказом якості продукту або переваги на ринку.
Це одна з причин, чому дані про рекомендації повинні залишатися пов'язаними з повною відповіддю, сценарієм, системою та датою спостереження. Рекомендація без контексту важко підлягає перевірці.
Корисна відмінність: згадка, включення до короткого списку та рекомендація
На практиці корисно розділити принаймні чотири рівні присутності бренду.
Згадка
Бренд присутній у відповіді. Ніяка перевага або придатність не передбачається.
Приклад: “Кілька компаній публікують дослідження про видимість бренду в AI, включаючи Brand X.”
Включення до короткого списку
Бренд включено серед варіантів, які користувач може розглянути, але відповідь не вказує чітко на перевагу або відповідність.
Приклад: “Ви можете порівняти Brand X, Brand Y та Brand Z перед вибором постачальника.”
Включення до короткого списку може бути цінним. Це вказує на те, що система включила бренд до набору рішень. Але його не слід автоматично класифікувати як рекомендацію.
Рекомендація
Відповідь представляє бренд як підходящий для визначеної потреби, аудиторії або випадку використання.
Приклад: “Brand X є розумним варіантом для організацій, які потребують щоквартального моніторингу в кількох платформах AI.”
Первинна рекомендація
Відповідь надає бренду більш помітну позицію, ніж іншим варіантам, або явно представляє його як переважний вибір за зазначених умов.
Приклад: “Для цього випадку використання я б почав з Brand X, оскільки він підтримує аналіз на основі сценаріїв і зберігає основні відповіді.”
Не кожен дизайн дослідження потребує всіх чотирьох категорій. Менше дослідження може використовувати лише згадку та рекомендацію. Але правило класифікації слід визначити перед переглядом результатів, особливо якщо дослідження буде повторено з часом.
В іншому випадку зміна в звітному показнику рекомендацій може відображати змінену інтерпретацію, а не зміну в самих відповідях.
Рекомендація завжди контекстуальна
Не існує універсального показника рекомендацій, який постійно належить бренду.
Бренд може часто рекомендуватися для однієї аудиторії і рідко для іншої. Він може з'являтися в загальних запитаннях категорії, але зникати, коли користувач додає ринок, бюджет, технічні вимоги або місцезнаходження. Він може бути названий у сценаріях на етапі усвідомлення, тоді як конкуренти отримують сильніші рекомендації в порівнянні або на етапі прийняття рішення.
Розгляньте ці запитання:
“Які інструменти можуть допомогти маркетинговій команді зрозуміти, як системи AI описують її бренд?”
“Яке рішення підходить для комунікаційного агентства, яке проводить повторювані дослідження бренду AI для кількох клієнтів?”
“Який найдешевший спосіб перевірити, чи згадував ChatGPT мою компанію?”
“Які платформи можуть моніторити розмови в соціальних мережах про споживчий бренд?”
Вони пов'язані, але не запитують про одне й те саме рішення. Рекомендація в одному сценарії не може автоматично переноситися на інший.
Добре спроектована панель може включати виявлення категорій, визнання проблем, порівняння постачальників, конкретні випадки використання та запитання для визначених аудиторій. Отримані дані можуть показати не лише те, чи з'являється бренд, але й у яких обставинах його вважають релевантним.
Спонуковані та спонтанні рекомендації
Відмінність між спонукованою та спонтанною присутністю також стосується рекомендацій.
Спонукована рекомендація відбувається, коли користувач називає бренд у запитанні:
“Чи є Brand X хорошим вибором для моніторингу видимості AI?”
Відповідь може рекомендувати бренд, відхиляти його або описувати його сильні та слабкі сторони. Це може бути корисно для тестування того, як система оцінює відомий варіант. Це не показує, чи буде бренд виявлено без попереднього усвідомлення.
Спонтанна рекомендація відбувається, коли бренд входить у відповідь, навіть якщо користувач не називав його:
“Які інструменти повинна розглянути маркетингова команда, коли вона хоче дослідити, як системи AI представляють її бренд?”
Це зазвичай є сильнішим сигналом безбрендового виявлення. Система сама вибрала бренд для включення. Проте результат потрібно читати уважно. Рекомендація може залежати від формулювання, мови, ринку, системи, поточного доступу до вебу або інших умов дослідження.
Дослідження з оцінки мовних моделей неодноразово показували, що, здавалося б, незначні зміни у формулюванні запиту можуть вплинути на результати. Це одна з причин, чому дослідження не повинно розглядати одне зручне запитання як повну картину поведінки платформи. Стаття Стан чого? Заклик до багатозапитної оцінки LLM є корисним фоном тут: вона не стосується дослідження брендів безпосередньо, але демонструє, чому одне формулювання запиту може призвести до надмірно впевнених висновків.
Що слід вважати рекомендацією?
Рамка вимірювання потребує чіткого правила. Точна класифікація може варіюватися в залежності від дослідження, але правило має бути явним і послідовно застосовуваним.
Відповідь може бути класифікована як рекомендація, коли вона відповідає обом умовам:
вона ідентифікує бренд як варіант, релевантний потребам, ситуації або критеріям користувача; і
вона виражає придатність, перевагу, відповідність або чітке запрошення розглянути бренд.
Сигнали рекомендації можуть включати такі фрази, як:
“розгляньте Brand X”;
“Brand X є хорошим варіантом для…”;
“Brand X може бути підходящим, якщо…”;
“Я б обрав Brand X, коли…”;
“Brand X є одним з кращих варіантів для…”;
“почніть з Brand X, якщо вашою пріоритетною метою є…”.
Слова самі по собі не завжди достатні. “Ви можете розглянути Brand X” може бути слабким включенням до короткого списку, якщо відповідь не надає жодної причини для релевантності. Навпаки, відповідь може містити суттєву рекомендацію, не використовуючи слово рекомендувати.
З цієї причини класифікація повинна враховувати всю відповідь, а не ізольовану фразу. Система може спочатку перерахувати кілька брендів, а потім пояснити, який з них підходить для зазначених вимог. Вона також може рекомендувати бренд умовно, зазначаючи важливе обмеження. І позитивна відповідність, і застереження повинні бути збережені в доказах.
Що не слід вважати рекомендацією?
Наступні ситуації зазвичай слід відокремлювати від рекомендацій:
бренд просто названий у списку без жодних вказівок на відповідність;
бренд згаданий як джерело;
відповідь описує бренд фактично після того, як користувач його назвав;
бренд з'являється як конкурент або точка порівняння;
система говорить, що бренд не підходить для зазначеної потреби;
продукт названий, але неправильно приписаний до бренду;
бренд включено, оскільки запит вимагав перерахувати всіх відомих постачальників;
відповідь занадто нечітка, щоб встановити, чи система представляє бренд як релевантний.
Остання категорія має більше значення, ніж може здаватися. Відповіді AI часто використовують стиснуту мову, особливо в таблицях і коротких списках. Якщо дослідник не може визначити, чи передбачається придатність, запис слід позначити як неоднозначний або переглянути відповідно до задокументованого правила. Примусове класифікування кожної відповіді в бінарну категорію може створити оманливий рівень точності.
Чому високий показник згадок може співіснувати з низьким показником рекомендацій
Бренд може часто з'являтися, але отримувати мало рекомендацій з кількох причин.
Він може бути широко визнаним, але асоціюватися лише з вузьким продуктом або аудиторією. Він може згадуватися переважно в спонукованих запитах. Він може використовуватися як джерело посилання, а не як варіант для вибору. Він може з'являтися в загальних інформаційних сценаріях, але не в орієнтованих на прийняття рішень. Він також може згадуватися разом з конкурентами, не представляючись як відповідний для потреб користувача.
Навпаки, спеціалізований бренд може мати скромний загальний показник згадок, але сильний показник рекомендацій у межах невеликої групи дуже релевантних сценаріїв. Це може бути більш корисним, ніж широка видимість, якщо ці сценарії відповідають реальній комерційній можливості.
Жоден результат не можна зрозуміти лише з одного відсотка.
Практичний звіт повинен, отже, показувати принаймні:
кількість допустимих відповідей;
кількість і частоту дійсних згадок;
кількість і частоту рекомендацій;
розподіл між спонукованими та спонтанними спостереженнями;
результати на рівні сценаріїв;
результати на рівні систем;
повні відповіді або відповідні витяги доказів;
правила підрахунку та класифікації.
Для визначеного дослідження базові розрахунки прості:
Показник згадок = допустимі відповіді, що містять дійсну згадку ÷ всі допустимі відповіді × 100%
Показник рекомендацій = допустимі відповіді, що містять дійсну рекомендацію ÷ всі допустимі відповіді × 100%
Ці показники не слід представляти як ймовірності того, що будь-який користувач побачить або отримає рекомендацію. Вони описують частку, спостережувану в конкретній вибірці: вибрані сценарії, системи, мова, ринок, дата та умови дослідження.
Рекомендація може бути неточною
Рекомендація не є синонімом позитивного представлення.
Система AI може рекомендувати бренд на основі можливості, яку він більше не пропонує. Вона може переплутати дві сутності з подібними назвами, приписати продукт неправільній компанії або пропустити обмеження, яке є вирішальним для користувача. Вона також може рекомендувати одного постачальника, ігноруючи більш підходящі альтернативи.
Саме тут вимірювання рекомендацій пов'язується з більш широким питанням представлення бренду в великих мовних моделях. Присутність і рекомендація є спостережуваними подіями, але якість представлення вимагає додаткових перевірок: фактична точність, відповідність категорії, приписування продукту, відповідність аудиторії, контекст конкурентів, джерела та оформлення.
Рекомендацію слід переглядати як відповідь у контексті, а не автоматично святкувати як успіх.
Той же принцип стосується галюцинацій бренду. Якщо система AI рекомендує компанію, тому що вона вигадала продукт, місце, сертифікацію або партнерство, відповідь містить подію рекомендації, але також і фактичну проблему. Ці спостереження повинні залишатися розрізненими в дослідницькому записі, а не зливатися в один позитивний результат.
Як вимірювати згадку та рекомендацію з часом
Повторні дослідження можуть виявити, чи змінюється спостережувана присутність або паттерн рекомендацій бренду. Але лише якщо порівняльна основа дослідження залишається стабільною.
Ті ж сутності, логіка сценарію, аудиторії, ринки, системи та правила класифікації повинні зберігатися, де це можливо. Зміни в панелі можуть бути необхідними, оскільки бізнес розвивається, але їх слід документувати та розглядати окремо від фіксованої частини дослідження.
Це різниця між одноразовим спостереженням і моніторингом брендів LLM. Моніторинг порівнює порівнянні періоди дослідження. Це не означає, що час від часу запитувати чат-бота, чи подобається йому бренд.
Коли показник рекомендацій змінюється, перші запитання повинні бути описовими:
Які сценарії спричинили зміну?
Чи було рух видно в кількох системах чи лише в одній?
Чи змінилися спонтанні рекомендації, спонуковані рекомендації, чи обидва?
Чи став бренд первинною рекомендацією або просто потрапив до більшої кількості коротких списків?
Чи були рекомендації фактично точними?
Що сталося з набором конкурентів?
Чи залишалися умови дослідження порівнянними?
Лише тоді команда може вирішити, чи є результат ймовірно значущим, потребує подальшого тестування або просто відображає нормальну варіацію відповідей.
Проста модель для читання відповідей AI
Корисна послідовність:
Сутність → сценарій → відповідь → класифікація → докази
По-перше, визначте сутність: офіційні назви брендів, варіанти, продукти та зв'язки, які дозволяють дійсну ідентифікацію.
По-друге, визначте сценарій: хто запитує, що їм потрібно, на якому етапі рішення вони знаходяться і які обмеження мають значення.
По-третє, збережіть відповідь, а не лише оцінку або мітку так/ні.
По-четверте, класифікуйте спостереження: жодної дійсної згадки, згадка, включення до короткого списку, рекомендація, первинна рекомендація, негативна рекомендація або неоднозначний результат.
Нарешті, зберігайте докази, необхідні для перегляду класифікації пізніше: повна відповідь, платформа, дата, мова, видимі джерела, де це можливо, та будь-які відповідні застереження.
Це не усуває інтерпретацію з процесу. Це робить інтерпретацію перевіряємою. Це також запобігає тому, щоб вигідно виглядаючий показник згадок був помилково сприйнятий як доказ того, що системи AI активно направляють відповідних користувачів до бренду.
Що ця відмінність не означає
Розділення згадок від рекомендацій не означає, що кожна згадка без рекомендації є неважливою. Визнання, присутність джерела, включення до категорії та спільна поява з конкурентами можуть бути корисними спостереженнями, коли вони відповідають визначеному дослідницькому запитанню.
Це також не означає, що показник рекомендацій передбачає продажі, переваги або поведінку клієнтів. Відповіді, згенеровані AI, не є репрезентативною вибіркою ринкового попиту, і їх формулювання може варіюватися в залежності від систем і часу. Рекомендація є доказом того, що вибрана система згенерувала в обраному сценарії — не більше і не менше.
Найголовніше, що вищий показник рекомендацій не є автоматичною метою. Важливе питання полягає в тому, чи рекомендується бренд точно, у сценаріях, де він дійсно належить, для аудиторій, яким він може служити, і з представленістю, що відповідає перевіреній інформації.
Ось чому згадка та рекомендація повинні вимірюватися окремо. Одна говорить нам, що бренд увійшов у відповідь. Інша говорить нам, що система представила його як релевантний варіант. Змішування їх може створити більш привабливу метрику, але усуває відмінність, необхідну для розуміння того, що насправді говорять системи AI.
Якщо ви хочете проаналізувати ці спостереження в межах визначених сценаріїв і систем AI, створіть обліковий запис Semantio і почніть з базового дослідження.
