Що таке моніторинг бренду за допомогою LLM?

Той факт, що ChatGPT згадав бренд у відповіді сьогодні, не означає, що він зробить це знову наступного тижня. Ми також не знаємо, чи Gemini, Claude, Perplexity або інша система дадуть таку ж рекомендацію.

Одна відповідь може надати цінне спостереження. Однак це не моніторинг.

Щоб визначити, чи змінюється присутність, зображення або позиція бренду відносно конкурентів, нам потрібно повторювати порівнянні дослідження. Лише серія вимірювань може виявити, чи є результат поодиноким випадком, короткочасною флуктуацією або зміною, яка зберігається з часом.

Моніторинг бренду за допомогою LLM — це багаторазове виконання визначеного дослідження та порівняння його результатів з часом. Дослідження має охоплювати ті самі сутності, сценарії, аудиторії, ринки та критерії оцінки, а будь-які зміни в умовах дослідження повинні бути задокументовані.

Таким чином, моніторинг — це не випадкове запитування моделі про компанію. Це дослідницький процес, який вимагає послідовної методології, збережених доказів та ретельної інтерпретації.

Що ми насправді моніторимо?

Найпростіша відповідь полягає в тому, що ми моніторимо, як генеративні системи відповідають на питання, які важливі для бренду.

Це не обмежується перевіркою, чи з’являється назва бренду. Як ми пояснюємо в нашій статті про представлення бренду у великих мовних моделях, представлення бренду може включати:

• чи присутній бренд у відповіді, чи відсутній;

• чи згадується він спонтанно, без зазначення в запиті;

• чи рекомендується він користувачеві;

• атрибути, продукти та можливості, пов’язані з ним;

• тон та контекст відповіді;

• аудиторії та випадки використання, з якими пов’язаний бренд;

• конкуренти, що з’являються в тому ж контексті;

• джерела, використані або цитовані системою;

• фактичні помилки, застаріла інформація та галюцинації.

Таким чином, моніторинг може охоплювати як видимість бренду, так і якість представлення бренду. Ця відмінність має значення. Бренд може часто згадуватися, але з’являтися в неправильному контексті, асоціюватися із застарілою пропозицією або рекомендуватися аудиторії, яку він більше не обслуговує.

Тому варто вимірювати присутність бренду, рекомендації, контекст, фактичну точність та відносини з конкурентами окремо. Відсоток відповідей, що містять назву компанії, не дає повної картини. Ми детальніше розглядаємо цю відмінність у нашому посібнику з видимості бренду в ШІ.

Моніторинг проти одноразового аудиту

Аудит та постійний моніторинг — це не одне й те саме, хоча добре розроблений аудит може стати відправною точкою для моніторингу.

Аудит насамперед відповідає на питання: як бренд представлений сьогодні? Він встановлює базовий рівень, виявляє проблеми та висвітлює області, які потребують подальшого спостереження.

Моніторинг додає вимір часу:

• Чи згадується бренд частіше чи рідше?

• Чи збільшилася його частка рекомендацій?

• Чи зникли раніше виявлені помилки?

• Чи починають з’являтися нові продукти у відповідях?

• Чи взяв конкурент на себе певну тему або сценарій?

• Чи призвела комунікаційна діяльність до змін, які можна спостерігати в наступних вимірюваннях?

Якщо початковий аудит проводився без чітко визначеної панелі питань, критеріїв оцінки та записів відповідей, відтворити його пізніше може бути складно. Тому базове дослідження має використовувати методологію, розроблену для повторення з самого початку.

Brand Semantics описує практичний підхід до створення такого базового рівня у своєму посібнику Як провести аудит видимості в ШІ.

Аудит надає точку відліку. Моніторинг виявляє напрямок та масштаб змін. Однак без достовірного базового рівня важко визначити, чи є пізніший результат справжнім покращенням.

Моніторинг проти стабільності відповідей

Це одне з найважливіших методологічних розрізнень.

Моніторинг порівнює результати, зібрані в різні моменти часу. Тест стабільності досліджує, наскільки відповіді відрізняються за схожих умов протягом того ж дослідницького періоду.

Якщо бренд з’явився в шести з десяти відповідей у січні та у восьми з десяти в лютому, ми не можемо автоматично зробити висновок, що його видимість зросла. Спочатку нам потрібно зрозуміти природну мінливість у кожному періоді вимірювання.

Дослідження оцінки моделей показують, що результати можуть бути чутливими навіть до перефразованих інструкцій. Автори State of What Art? A Call for Multi-Prompt LLM Evaluation стверджують, що оцінка, заснована на одній формулюванні запиту, може призвести до надмірно впевнених висновків.

Це не означає, що кожне дослідження має повторюватися нескінченно. Це означає, що методологія повинна відображати ризик та значущість рішення, яке дослідження має підтримати.

Різниця між двома періодами вимірювання не є автоматично тенденцією. Вона може вказувати на неї, але ми повинні спочатку відрізнити її від генеративної мінливості та змін в умовах дослідження.

Чому результати можуть змінюватися?

Зміна показника не завжди означає, що змінився сам бренд. За це можуть відповідати кілька механізмів.

Інформаційне середовище бренду змінилося

Могли з’явитися нові статті, звіти, сторінки продуктів, огляди, PR-матеріали та контент конкурентів. Інші джерела могли зникнути або застаріти.

Ці зміни не обов’язково повинні походити від самого бренду. Конкурент може опублікувати більш чітку, повну або краще пов’язану інформацію і, отже, почати частіше з’являтися у відповідях.

Система або її процес отримання інформації змінилися

Генеративні системи можуть використовувати різні моделі, компоненти пошуку, методи розширення запитів та механізми вибору джерел. Google пояснює, що AI Overviews та AI Mode можуть використовувати різні моделі та методи, що означає, що як відповіді, так і допоміжні посилання можуть відрізнятися.

Якщо версія моделі, інтерфейс або доступ до поточної веб-інформації змінюються, це має бути задокументовано як частина умов дослідження.

Умови дослідження змінилися

Мова, місцезнаходження, налаштування облікового запису, доступ до веб-пошуку, формулювання питання та набір названих конкурентів можуть впливати на відповідь.

«Який інструмент мені вибрати?» та «Який найкращий інструмент?» можуть здаватися схожими, але вони можуть активувати різні критерії оцінки. Якщо запити змінюються між періодами вимірювання, ми більше не працюємо з точно такою ж панеллю.

Генеративна мінливість вплинула на результати

Мовні моделі не завжди дають ідентичні відповіді. Вони можуть вибирати різні приклади, змінювати порядок списку або пропускати бренд, який вони згадували в попередньому запуску.

Не кожна відмінність є доказом зміненого представлення бренду.

Що має залишатися постійним?

Ми не можемо заморозити системи, що вивчаються, але ми можемо контролювати ядро дослідження.

Наступні елементи повинні залишатися максимально послідовними:

• бренд та його варіанти назв;

• продукти, послуги та інші сутності, включені в дослідження;

• аудиторії та персони;

• випадки використання;

• етапи процесу прийняття рішень;

• панель питань та правила її виконання;

• мова, ринок та місцезнаходження;

• тестовані системи;

• правила класифікації відповідей;

• спосіб розрахунку показників;

• повні відповіді та дати кожного вимірювання.

Будь-яка неминуча зміна повинна бути зафіксована. Якщо потрібно ввести нові питання, часто краще додати їх як окремий модуль, зберігаючи фіксовану порівняльну панель.

Практичне правило полягає в тому, щоб адаптувати дослідження, коли цього вимагає бізнес, але ніколи не переписувати його історію. Зберігайте попередні визначення та результати, щоб ви могли визначити, чи змінився бренд, змінилася методологія, чи змінилися обидва.

Як часто слід проводити моніторинг бренду?

Немає єдиної частоти, яка підходить для кожної організації.

Щомісячний моніторинг може бути доцільним, коли:

• ринок швидко змінюється;

• бренд проводить інтенсивні комунікації;

• запускаються нові продукти або послуги;

• конкуренти дуже активні;

• репутаційний ризик значний.

Щоквартального моніторингу може бути достатньо для організацій зі стабільною пропозицією, довшими циклами закупівель та повільнішим темпом комунікації.

Додаткові вимірювання можуть бути виправдані після:

• зміни позиціонування;

• запуску продукту або виходу на новий ринок;

• значного редизайну веб-сайту або архітектури контенту;

• репутаційної кризи;

• злиття, поглинання або ребрендингу;

• великої комунікаційної кампанії;

• значної зміни однієї з систем, що моніторяться.

Частіше вимірювання не завжди краще. Якщо результат коливається щодня, але організація приймає рішення щоквартально, надмірне вимірювання може генерувати сповіщення, а не корисну інформацію.

Графік моніторингу повинен відображати темп змін, рівень ризику та цикл прийняття рішень організації.

В одному з наших проєктів ми моніторили соціальну кампанію, проведену на початку року. Це було особливо складне комунікаційне вікно: сезонна хвиля різдвяних благодійних пожертв тільки-но відступала, тоді як інтенсивна промоція навколо фіналу Великого Оркестру Різдвяної Допомоги (WOŚP) вже домінувала в суспільній та медійній увазі. Тому кампанія мала конкурувати за видимість між двома винятково сильними хвилями соціальної комунікації.

Звичайне вимірювання до кампанії та після неї не розкрило б достатньо про динаміку змін. Ми збільшили частоту вимірювань, щоб точніше спостерігати, коли наратив кампанії почав з’являтися у відповідях генеративних систем. Водночас ми провели додаткові дослідницькі зондування та змінювали вибрані параметри дослідження, замінюючи деякі сценарії, зберігаючи при цьому фіксоване порівняльне ядро.

Це дозволило нам відрізнити рух основних показників від сигналів, що з’являються в нових, більш актуальних контекстах. Проєкт продемонстрував, що вища частота вимірювань може бути необхідною у виняткових обставинах, але це не повинно означати зміну всієї методології без контролю. Стабільна частина дослідження зберегла порівнянність, тоді як змінні сценарії допомогли нам зафіксувати, як системи реагували на розвиток кампанії.

Як слід інтерпретувати зміну результатів?

Ми ніколи не повинні дивитися лише на середній бал.

Якщо видимість зростає з 40% до 50%, нам потрібно вивчити:

• які системи спричинили зміну;

• які персони та сценарії були відповідальними;

• чи бренд був лише згаданий, чи активно рекомендований;

• чи була інформація правильною;

• що сталося з конкурентами;

• чи було покращення широкомасштабним, чи обмеженим невеликою кількістю питань;

• чи була кількість спостережень достатньою для підтвердження висновку.

Кожен показник повинен бути представлений разом зі своїм знаменником. Зміна з однієї позитивної відповіді на дві представляє 100% збільшення, але все ще базується лише на двох відповідях.

Кількісні результати також повинні супроводжуватися якісними доказами: повною відповіддю, її контекстом, згаданими конкурентами, цитованими джерелами та міркуваннями, використаними системою.

Моніторинг — це не дослідження громадської думки. Він не доводить, що клієнти сприймають бренд однаково, і не демонструє, що зміна безпосередньо вплине на продажі. Він показує, що вибрані системи генерували за визначених умов дослідження.

Одне з наших досліджень показало винятково високий показник видимості для бренду гостинності вже під час першого запуску. Результат був набагато сильнішим, ніж ми могли обґрунтовано очікувати, враховуючи позицію об’єкта на ринку та його коротку історію — він відкрився лише кілька місяців тому.

На перший погляд, дані виглядали як доказ надзвичайно швидкого комунікаційного успіху. Лише перегляд повних відповідей виявив, що мовні моделі неправильно приписували об’єкт набагато більшій міжнародній готельній мережі. На основі часткової схожості в назві або контексті системи вивели зв’язок, якого не існувало.

Таким чином, об’єкт отримував видимість, яка не була створена його власним інформаційним слідом. Це була видимість, створена неправильною ідентифікацією сутності. Надмірна інтерпретація моделей призвела до суттєвої переоцінки базових показників ефективності.

Цей випадок продемонстрував, чому аналіз не може зупинятися на відсотках. Якби ми не переглянули відповіді та спосіб ідентифікації сутності, ми б представили клієнту привабливу, але принципово оманливу картину. Високий бал не завжди вказує на сильну позицію — іноді він виявляє проблему розпізнавання сутності.

Що робити, коли виявлено зміну?

Корисний процес моніторингу повинен призводити до рішення, а не просто до чергового графіка.

1. Підтвердьте результат

Повторіть відповідні сценарії або виконайте додаткову перевірку стабільності. Визначте, чи зберігається зміна в різних системах та еквівалентних формулюваннях запитів.

2. Знайдіть зміну

Визначте системи, аудиторії, продукти, сценарії та етапи шляху прийняття рішення, в яких відбулася різниця.

3. Класифікуйте зміну

Визначте, чи стосується вона:

• присутності бренду;

• рекомендації;

• фактичної точності;

• контексту або настрою;

• позиціонування конкурентів;

• джерел;

• галюцинації або неправильної ідентифікації сутності.

4. Порівняйте результат із запланованою ідентичністю бренду

Запитайте, чи відповідає нова репрезентація тому, як організація хоче бути зрозумілою.

5. Проаналізуйте джерела та інформаційні прогалини

Перевірте, чи доступна, актуальна, чітка та послідовна відповідна інформація в цифровій екосистемі бренду.

Саме тут такі послуги, як Semantic Health, можуть допомогти виявити суперечності, відсутні зв’язки та слабкі місця в інформаційній інфраструктурі бренду.

6. Виберіть відповідну дію

Залежно від діагнозу, наступним кроком може бути виправлення фактичної інформації, посилення зв’язків між сутностями, оновлення контенту продукту, покращення архітектури контенту або публікація нових матеріалів, заснованих на доказах.

Якщо проблема стосується того, як інформація структурована та інтерпретується системами ШІ, AI-First Content Engineering надає основу для розробки контенту навколо сутностей, зв’язків та чітко виражених тверджень.

Більш широка роль цієї інфраструктури пояснюється в Семантика бренду як інфраструктура для пошуку ШІ.

7. Виміряйте знову

Коригувальна дія не завершується публікацією контенту. Наступне вимірювання повинно оцінити, чи з’являється очікувана зміна та чи виникли будь-які небажані ефекти в інших місцях.

Як Semantio підтримує моніторинг бренду?

Виконати один тест вручну просто. Складність зростає, коли дослідження включає кілька аудиторій, продуктів, конкурентів, сценаріїв та генеративних систем — і коли порівнянні записи повинні зберігатися з часом.

Semantio організовує дослідження навколо ідентичності бренду. Це дозволяє командам визначати продукти, аудиторії та конкурентів, а потім будувати тестові сценарії на основі цих сутностей.

Результати можна аналізувати по всьому дослідженню, а також на рівні окремих питань та систем. Це дозволяє вийти за рамки простого підрахунку згадок та перевірити докази, що стоять за показниками.

Платформа не усуває необхідності в інтерпретації. Вона підтримує послідовні вимірювання, структуроване порівняння та збереження записів досліджень — елементи, необхідні для того, щоб моніторинг став повторюваним бізнес-процесом, а не колекцією скріншотів.

Бажаєте дізнатися, як ваш бренд представлений у системах ШІ сьогодні, та відстежувати, як це представлення змінюється? Створіть свій обліковий запис Semantio та налаштуйте своє перше базове вимірювання.

Часті запитання

Чи моніторинг бренду за допомогою LLM те саме, що соціальне слухання?

Ні. Соціальне слухання аналізує контент, опублікований людьми та організаціями на соціальних платформах та інших публічних каналах. Моніторинг LLM досліджує відповіді, згенеровані системами ШІ у відповідь на визначені сценарії.

Ці два підходи можуть доповнювати один одного, але вони вимірюють різні явища.

Чи достатньо регулярно задавати ChatGPT одне питання?

Ні. Одне питання не представляє діапазон аудиторій, потреб, продуктів, етапів прийняття рішень та конкурентних контекстів, що мають відношення до бренду. Воно також не надає достатньої основи для розрізнення тенденції від звичайної мінливості відповідей.

Чи завжди висока видимість є корисною?

Ні. Бренд може бути дуже помітним, тому що його неправильно представляють, плутають з іншою сутністю або згадують у несприятливому контексті. Видимість завжди слід аналізувати разом з точністю, релевантністю та характером рекомендації.

Чи негайно змінить оновлення веб-сайту відповіді моделі?

Не обов’язково. Зміни можуть бути виявлені, оброблені та відображені з різною швидкістю, залежно від системи та механізмів, які вона використовує. Деякі відповіді також можуть покладатися на зовнішні джерела, а не на власний веб-сайт бренду.

Чи може моніторинг визначити причину кожної зміни?

Ні. Він може виявити, де і як змінився результат, але не завжди може надати остаточні докази причинно-наслідкового зв’язку. У багатьох випадках причину потрібно виводити, поєднуючи аналіз відповідей, перегляд джерел та знання змін в інформаційному середовищі бренду.

Що ми насправді повинні моніторити?

Моніторинг бренду за допомогою LLM — це повторюване дослідження, а не збірка ad hoc розмов з чат-ботами.

Його цінність залежить від:

• чітко визначеного базового рівня;

• стабільної панелі сутностей та сценаріїв;

• задокументованих умов дослідження;

• розрізнення довгострокових змін від мінливості відповідей;

• аналізу як показників, так і повних базових доказів;

• зв’язку висновків з конкретними бізнес- та комунікаційними рішеннями.

Тому найважливіше питання не просто: «Чи згадала модель наш бренд?»

Воно має бути таким:

Чи змінюється з часом спосіб представлення нашого бренду системами ШІ — і якщо так, то де, в якому напрямку та з якими наслідками для аудиторії?