Що таке представлення бренду у великих мовних моделях?

Бренд може з’явитися у відповіді, згенерованій ШІ, але при цьому бути представленим некоректно.

Модель може згадати компанію, але віднести її до неправильної категорії, рекомендувати її продукт нецільовій аудиторії, порівняти її з нерелевантними конкурентами або повторити застарілу інформацію.

У кожному випадку бренд є видимим. Проблема полягає в тому, що насправді означає ця видимість.

Тому перевірки, чи був згаданий бренд, недостатньо. Видимість — це один вимір представлення бренду, а не його повний опис.

Визначення представлення бренду в LLM

Представлення бренду у великих мовних моделях — це спостережуваний спосіб, у який конкретна система на основі LLM ідентифікує, описує, категоризує, порівнює, рекомендує та наочно обґрунтовує бренд у відповідь на визначений сценарій, мову, час та середовище.

Представлення включає як те, що з’являється у відповіді, так і будь-які значні пропуски, спотворення або помилки. Воно охоплює:

• роль, призначену бренду;

• пов’язані з ним продукти, послуги та аудиторії;

• атрибути, що використовуються для його опису;

• чи рекомендується він і за яких умов;

• конкурентів, з якими він порівнюється;

• джерела, показані разом із відповіддю;

• чи є інформація актуальною та фактично правильною.

Наразі не існує єдиного загальноприйнятого академічного визначення представлення бренду в LLM. Дослідження вивчали його компоненти окремо, включаючи видимість у генеративних системах, рекомендації, атрибути бренду, чутливість до промптів, цитування та точність. Дослідження EMNLP також задокументували відмінності в тому, як мовні моделі асоціюють та рекомендують бренди.

Представлення бренду об’єднує ці компоненти як багатовимірний об’єкт дослідження.

Що ми насправді спостерігаємо?

Говорити про представлення «в моделі» — це зручне скорочення. На практиці користувачі стикаються з ширшою системою, яка може включати:

• базову модель;

• системні інструкції;

• запитання та попередню розмову;

• інтерфейс продукту та його налаштування;

• механізми пошуку або вилучення;

• доступні джерела;

• час, коли був зроблений запит.

Не кожна модель має доступ до Інтернету, використовує зовнішнє вилучення або відображає цитати. Результати, отримані через API, також можуть відрізнятися від відповідей, створених споживчим додатком, що використовує ту саму модель.

Дослідження генерації з доповненням за допомогою вилучення (Retrieval-Augmented Generation) розрізняє знання, закодовані в параметрах моделі, та інформацію, отриману із зовнішніх ресурсів. Це не означає, що кожна комерційна система використовує ту саму архітектуру. Тому будь-яке дослідження представлення бренду має вказувати, яка модель, система, інтерфейс та режим відповіді були протестовані.

Ми також не вимірюємо, що модель «думає». Моделі не мають думок у людському розумінні. Ми спостерігаємо вихідні дані та їхні властивості. Це розрізнення допомагає уникнути антропоморфної мови, що є проблемою, зазначеною в профілі генеративного ШІ NIST.

Представлення бренду та пов’язані концепції

Представлення бренду перетинається зі знайомими областями маркетингу та досліджень, але не є ідентичним жодному з них.

Традиційна пошукова система представляє документи. Генеративна система може створити одну відповідь, у якій бренд описується, пропускається, порівнюється або рекомендується. Його присутність не повинна зводитися до іншого типу ранжування.

Сім вимірів представлення бренду

1. Присутність та ідентифікація сутності

Перше питання — чи з’являється бренд. Друге — чи система ідентифікувала правильну сутність.

Модель може поєднувати інформацію про окремі організації або плутати материнську компанію, місцеву дочірню компанію, лінійку продуктів та дистриб’ютора. Тому назва, що з’являється у відповіді, не є доказом правильного представлення. Сутність та її зв’язки також повинні бути точними.

2. Роль, категорія та позиція

Бренд може виступати як постачальник, виробник, експертне джерело, приклад, партнер, конкурент, альтернатива або попередження. Ці ролі не є еквівалентними. Компанія може часто цитуватися як джерело галузевої інформації, але ніколи не з’являтися серед рекомендованих постачальників. Вона також може бути віднесена до категорії, з якою не бажає бути пов’язаною.

Представлення стосується не лише присутності, а й функції, яку бренд виконує у відповіді.

3. Продукти, послуги та аудиторії

Система може знати флагманський продукт, але ігнорувати інші напрямки бізнесу. Вона може пропустити B2B-послуги бренду, призначити послугу нецільовій аудиторії або описати регіональну пропозицію як глобально доступну.

Тому аналіз має запитати, які продукти та послуги приписуються бренду, які залишаються відсутніми, які потреби клієнтів з ним пов’язані та чи є заявлений обсяг пропозиції актуальним.

Дві відповіді можуть згадувати одну й ту саму назву, але описувати дві суттєво різні версії бренду.

4. Рекомендація та відповідність сценарію

Згадування бренду — це не те саме, що його рекомендація. Система може включити його серед багатьох варіантів, помістити його до короткого списку, ідентифікувати його як найкращий вибір, рекомендувати його умовно, радити проти нього або пропустити його, незважаючи на сильну відповідність критеріям.

Дослідження, представлене на CHI 2025, виявило, що тонкі зміни у формулюванні можуть впливати на те, чи з’являються цільові концепції та бренди в рекомендаціях. Це не означає, що кожна невелика зміна промпта змінить результат. Це показує, чому рекомендацію слід оцінювати відповідно до конкретного сценарію, а не розглядати як універсальну властивість моделі.

5. Атрибути, фреймінг та сентимент

Бренд може бути описаний як інноваційний, доступний, преміальний, локальний, безпечний, спеціалізований або застарілий. Ці атрибути формують відповідь, але одна мітка сентименту не може охопити все представлення.

Позитивна відповідь все ще може посилювати небажане позиціонування. Наприклад, корпоративний постачальник може бути похвалений, але описаний виключно як недорогий варіант для малого бізнесу. Тому аналіз має охоплювати призначені атрибути, причини вибору, застереження, тон та відповідність перевіреному позиціонуванню бренду.

Позитивний сентимент не гарантує точного представлення.

6. Конкурентний контекст

Моделі не завжди порівнюють бренд з конкурентами, яких компанія сама б ідентифікувала. Відповіді можуть включати прямих конкурентів, бренди з суміжних категорій, постачальників, що обслуговують різні цінові сегменти, компанії, що співіснують у джерелах, або організації, що розглядаються як функціональні альтернативи.

Це розкриває, як система будує категорію та доступний набір виборів. Однак згаданий бренд може бути партнером, дистриб’ютором або джерелом, а не конкурентом. Слід розрізняти співіснування, порівняння та справжню рекомендацію.

7. Видимі джерела та цитати

Там, де відображаються джерела, вони можуть включати вебсайт бренду, дистриб’юторів, ЗМІ, сайти порівняння, документацію, сторінки конкурентів або застарілі матеріали.

Необхідні два застереження. По-перше, видимі джерела не обов’язково розкривають кожен фактор, що вплинув на відповідь. По-друге, цитата не доводить, що джерело підтверджує твердження поруч із нею. Дослідження можливості перевірки в генеративних пошукових системах розглядає наявність цитати та її фактичну підтримку твердження як окремі питання.

Тому аудит має вивчати як походження джерела, так і його зв’язок із зробленим твердженням.

Не кожна проблема — це галюцинація

Галюцинація — це найвідоміша назва помилок генеративного ШІ, але вона не повинна описувати кожен несприятливий результат. NIST використовує термін «конфабуляція» для впевнено представленого хибного або помилкового контенту. Дослідження представлення бренду вимагає ширшого набору категорій:

• фактична галюцинація – твердження суперечить фактам;

• непідтверджене твердження – наявні докази не підтверджують його;

• застаріла інформація – раніше правильне твердження більше не є актуальним;

• злиття сутностей – інформація про різні сутності поєднується;

• помилка класифікації – бренд віднесено до неправильної категорії;

• пропуск – відсутній значний факт або частина пропозиції;

• спотворення або надмірне спрощення – твердження змінює значення, не будучи повністю хибним;

• невідповідність рекомендації – бренд рекомендовано, незважаючи на невідповідність критеріям;

• невідповідність позиціонування – представлення відхиляється від перевіреної ідентичності та поточного позиціонування бренду.

Галюцинації є однією частиною ширшої категорії проблем представлення бренду. Хибне твердження, відсутній продукт, сплутана сутність та неправильна рекомендація вимагають різних відповідей.

Чому представлення бренду може змінюватися?

Згенеровані відповіді залежать від їхніх умов: формулювання, наміру користувача, мови, місцезнаходження, історії розмови, моделі, інтерфейсу, доступу до пошуку, доступних джерел, дати та мінливості самої генерації.

Велике дослідження, опубліковане в Transactions of the Association for Computational Linguistics, виявило, що перефразовані інструкції можуть давати суттєво різні результати моделі. Воно охоплювало багато моделей та завдань, а не лише бренди, але надає вагомі докази чутливості до промптів.

Тому слід розрізняти три явища:

• чутливість до сценарію або промпта – питання змінюється;

• мінливість вихідних даних – той самий сценарій повторюється за тих самих умов;

• зміна з часом – тест повторюється після можливих змін у моделях, джерелах або інформації про бренд.

Єдина відповідь є доказом того, що конкретна система повернула за визначених умов. Це не є доказом стабільної думки моделі або гарантією майбутніх відповідей.

Моніторинг з часом не є автоматично тестом стабільності. Він показує відмінності між вимірюваннями, але не замінює повторних запусків за ідентичних умов.

Як слід вивчати представлення бренду?

Відповідальне дослідження має починатися з визначення сутності та еталона, за яким оцінюватимуться результати.

1. Визначте ідентичність бренду

Створіть актуальний запис організації, продуктів, послуг, аудиторій, ринків, атрибутів, конкурентів та фактів, що потребують ретельного вивчення. Відокремте факти від прагнень та рекламних заяв.

2. Розробіть реалістичні сценарії

Сценарії повинні відображати справжні інформаційні або рішення-орієнтовані потреби: пошук постачальника, порівняння рішень, перевірка репутації, вибір продукту або ідентифікація альтернатив. Це не звичайний список ключових слів. Один і той самий предмет може вимагати різних сценаріїв для різних аудиторій та етапів прийняття рішень.

3. Зафіксуйте дослідницьке середовище

Задокументуйте модель, інтерфейс, мову, дату, доступ до Інтернету та кількість запусків. Без цих деталей подальше порівняння стає ненадійним.

4. Збережіть докази

Агреговані результати не повинні замінювати повні відповіді. Зберігайте журнали, відповідні витяги, джерела та цитати, щоб кожен висновок можна було відстежити до його доказів.

5. Аналізуйте виміри окремо

Присутність, рекомендація, сентимент, атрибути, конкуренти, джерела та точність відповідають на різні питання. Об’єднання їх в одну оцінку може приховати основну проблему. Дуже видимий бренд все ще може бути віднесений до неправильної категорії, втратити рекомендації, бути описаним застарілою інформацією або бути пов’язаним з неправильною аудиторією.

6. Зазначте обмеження

Висновки повинні відповідати обсягу. Дослідження п’яти моделей не описує кожну систему ШІ; тест однією мовою не встановлює ідентичного представлення на інших ринках. Brand Semantics надає ширший посібник щодо проведення аудиту видимості ШІ на платформах пошуку ШІ.

Що це дослідження може розповісти бренду?

Добре розроблене дослідження може показати, чи розпізнається бренд, яку роль він відіграє, з якими потребами та аудиторіями він пов’язаний, коли його рекомендують, які конкуренти з’являються та де виникають помилки чи спотворення.

Воно не може само по собі встановити, що побачить кожен користувач, як люди сприймають бренд, чи змінила відповідь рішення про покупку або який буде її прямий вплив на продажі. Ці питання вимагають додаткового дослідження трафіку, конверсії, атрибуції або якісного дослідження.

Як Semantio аналізує представлення бренду?

Semantio — це дослідницька платформа для аналізу та моніторингу того, як великі мовні моделі описують, порівнюють та рекомендують бренди, а також де вони генерують помилки, неточності або інші проблеми представлення.

Дослідження може охоплювати згадки бренду, роль, рекомендації, атрибути, сентимент, продукти, аудиторії, конкурентів, джерела та цитати (де доступні), а також відповідність тверджень визначеній ідентичності бренду.

Користувачі можуть переходити від агрегованих результатів до окремих відповідей та їхніх підтверджуючих доказів. Таким чином, представлення бренду не зводиться до єдиного рейтингу або непрозорої оцінки.

Створіть обліковий запис та подивіться, як мовні моделі представляють ваш бренд.

Часті запитання

Чи є представлення бренду тим самим, що й видимість ШІ?

Ні. Видимість запитує, чи з’являється бренд. Представлення також охоплює його роль, рекомендації, атрибути, пропозицію, аудиторії, конкурентів, джерела та фактичну точність.

Чи має LLM стабільну думку про бренд?

Такого висновку робити не слід. Відповідь є результатом роботи конкретної системи за певних умов і може змінюватися залежно від сценарію, моделі, мови, джерел та дати.

Чи може дуже видимий бренд все ще бути погано представленим?

Так. Він може часто з’являтися, але при цьому бути віднесеним до неправильної категорії, пов’язаним із застарілою пропозицією або рекомендованим нецільовій аудиторії.

Чи кожна неправильна відповідь є галюцинацією?

Ні. Проблема може полягати в застарілій інформації, злитті сутностей, неправильній класифікації, пропуску, надмірному спрощенні або рекомендації, яка не відповідає критеріям.