Споменаване срещу препоръка в AI отговори

Появата на марка в генериран от AI отговор не означава непременно, че системата я препоръчва.

Тази разлика лесно може да бъде пренебрегната, особено когато таблото за управление отчита една-единствена цифра за видимост или проучване е сведено до списък с имена на марки. Една компания може да бъде посочена като пример, цитирана като източник, сравнена с конкуренти, описана като неподходяща за конкретен случай на употреба или включена само защото потребителят я е споменал във въпроса. Нито едно от тези наблюдения не е еквивалентно на препоръка.

За екипите, които наблюдават представянето на марката в AI системи, разликата е от значение. Споменаването установява присъствие. Препоръката показва, че системата е свързала марката с нуждата на потребителя, контекста на решението или критериите за избор. Това са свързани, но отделни събития и те трябва да се измерват поотделно.

Както е обяснено в нашето ръководство за видимост на марката в AI, видимостта е наблюдаемото присъствие на марка, продукт, домейн или свързано лице в определен набор от генерирани от AI отговори. Препоръката е една възможна форма на това присъствие. Тя не е нейното стандартно значение.

Какво е споменаване на марка в AI отговор?

Споменаване на марка възниква, когато AI система се позовава на марка, компания, продукт, услуга, домейн или друго дефинирано лице, свързано с марката.

Дефиницията може да звучи проста, но едно полезно проучване се нуждае от по-прецизно правило. Позоваването трябва да се брои само когато отговорът идентифицира правилно желаното лице, така че наблюдението да е смислено. Подобно име на компания, неправилно приписан продукт или объркано дъщерно дружество не трябва автоматично да се броят като валидно споменаване.

Например, AI отговор може да спомене компания по няколко различни начина:

• като доставчик в списък с категории;

• като пример, използван за обяснение на тема;

• като конкурент на друга марка;

• като издател на цитиран източник;

• като компания, свързана с минало събитие или противоречие;

• като опция, която потребителят трябва да избягва;

• защото подканата е посочила директно марката;

• като продукт, без ясно да го свързва с неговата родителска марка.

Всички те могат да покажат, че лицето присъства в отговора. Те обаче не показват едно и също нещо относно откриваемостта, пригодността или предпочитанията.

Практическа оперативна дефиниция е:

Валидно споменаване на марка е правилно идентифицирано позоваване на дефинирано лице на марка в допустим генериран от AI отговор.

Думите правилно идентифицирано и допустим са важни. Отговорът може да съдържа правилното име, но все пак да се отнася до друга организация. Той може също така да съдържа марката, защото въпросът изрично го е изисквал, което е ценно за тестване на разпознаването, но много по-малко информативно за небрандирано откриване.

Не всяко споменаване има едно и също значение

Един процент на споменаванията може да скрие важни разлики. Разгледайте следните отговори на въпрос относно софтуер за наблюдение на това как AI системи описват дадена марка.

Въпросът не е, че една категория споменавания винаги е по-ценна от друга. Правилната интерпретация зависи от целта на изследването. Позоваване само на източник може да е от значение за издател, търсещ доказателство, че неговият домейн навлиза в източниковата среда на AI система. Подканено споменаване може да е от значение, когато бизнес иска да тества разпознаването на обекти или фактическата точност. Спонтанно споменаване е по-уместно, когато въпросът се отнася до откриване без име на марка в подканата.

Грешката е да се третира всяко събитие като доказателство, че AI системата е избрала или одобрила марката.

Какво е препоръка?

Препоръка възниква, когато AI отговор представя марка като подходяща опция за посочената или разумно изведена нужда на потребителя, случай на употреба, ограничения или критерии за решение.

Препоръката може да бъде директна:

„За средно голям маркетингов екип, който трябва да наблюдава споменаванията и препоръките на марката в няколко AI системи, обмислете Semantio.“

Може да бъде и условна:

„Ако вашият приоритет е повтарящи се проучвания, използващи фиксиран панел от сценарии, Semantio може да бъде подходяща опция.“

Или сравнителна:

„Сред изброените инструменти, Semantio е по-подходящ за екипи, които трябва да анализират пълни AI отговори, вместо да проследяват един-единствен резултат.“

Във всеки случай системата надхвърля назоваването на марката. Тя свързва марката с контекст за избор и показва известна степен на пригодност.

Това не означава, че препоръката е непременно правилна, справедлива или базирана на пълна информация. AI системите могат да правят неподкрепени препоръки, да пренебрегват релевантни конкуренти, да използват остаряла информация или да извеждат възможности, които дадена марка не предлага. Фактът, че система препоръчва дадена марка, е наблюдение за генерирания отговор. Той не е независимо доказателство за качество на продукта или пазарно превъзходство.

Това е една от причините данните за препоръки да останат свързани с пълния отговор, сценария, системата и датата на наблюдението. Препоръка без контекст е трудна за одит.

Полезно разграничение: споменаване, включване в кратък списък и препоръка

На практика е полезно да се разграничат поне четири нива на присъствие на марката.

Споменаване

Марката присъства в отговора. Не се подразбира предпочитание или пригодност.

Пример: „Няколко компании публикуват изследвания за видимостта на марката в AI, включително Марка X.“

Включване в кратък списък

Марката е включена сред опциите, които потребителят може да разгледа, но отговорът не показва ясно предпочитание или съответствие.

Пример: „Можете да сравните Марка X, Марка Y и Марка Z, преди да изберете доставчик.“

Включването в кратък списък може да бъде ценно. То показва, че системата е включила марката в набор от решения. Но не трябва автоматично да се класифицира като препоръка.

Препоръка

Отговорът представя марката като подходяща за определена нужда, аудитория или случай на употреба.

Пример: „Марка X е разумна опция за организации, които се нуждаят от тримесечно наблюдение в няколко AI платформи.“

Основна препоръка

Отговорът дава на марката по-видно място от други опции или изрично я представя като предпочитан избор при посочените условия.

Пример: „За този случай на употреба бих започнал с Марка X, защото поддържа анализ, базиран на сценарии, и запазва основните отговори.“

Не всеки изследователски дизайн се нуждае от всички четири категории. По-малко проучване може да използва само споменаване и препоръка. Но правилото за класификация трябва да бъде решено, преди да бъдат прегледани резултатите, особено ако проучването ще се повтаря във времето.

В противен случай промяна в отчетения процент на препоръки може да отразява променена интерпретация, а не промяна в самите отговори.

Препоръката винаги е контекстуална

Няма универсален процент на препоръки, който да принадлежи постоянно на дадена марка.

Една марка може да бъде препоръчвана често за една аудитория и рядко за друга. Тя може да се появява в общи въпроси за категории, но да изчезва, когато потребителят добави пазар, бюджет, техническо изискване или местоположение. Тя може да бъде назована в сценарии на етап осъзнаване, докато конкурентите получават по-силни препоръки в сценарии на сравнение или вземане на решения.

Разгледайте тези въпроси:

1. „Какви инструменти могат да помогнат на маркетингов екип да разбере как AI системи описват неговата марка?“

2. „Кое решение е подходящо за комуникационна агенция, която провежда повтарящи се AI проучвания на марки за няколко клиента?“

3. „Кой е най-евтиният начин да проверя дали ChatGPT е споменал моята компания?“

4. „Кои платформи могат да наблюдават разговорите в социалните медии за потребителска марка?“

Те са свързани, но не изискват едно и също решение. Препоръка в един сценарий не може автоматично да бъде прехвърлена в друг.

Ето защо едно защитимо проучване започва със сценарии, а не с предпочитан отговор. Сценарият трябва да описва реалистична нужда на потребителя, съответни ограничения и етапа на решение, който се изследва. Той не трябва да бъде написан само за да създаде възможност за поява на изследваната марка.

Добре проектиран панел може да включва откриване на категории, разпознаване на проблеми, сравнение на доставчици, специфични случаи на употреба и въпроси за определени аудитории. Получените данни могат след това да покажат не само дали марката се появява, но и при какви обстоятелства се третира като релевантна.

Подканени и спонтанни препоръки

Разграничението между подканено и спонтанно присъствие се отнася и за препоръките.

Подканена препоръка възниква, когато потребителят назове марката във въпроса:

„Добър избор ли е Марка X за наблюдение на AI видимост?“

Отговорът може да препоръча марката, да я отхвърли или да опише нейните силни страни и ограничения. Това може да бъде полезно за тестване как системата оценява известна опция. То не показва дали марката би била открита без предварително познаване.

Спонтанна препоръка възниква, когато марката влезе в отговора, въпреки че потребителят не я е назовал:

„Кои инструменти трябва да обмисли маркетингов екип, когато иска да проучи как AI системи представят неговата марка?“

Това обикновено е по-силен сигнал за небрандирана откриваемост. Самата система е избрала марката за включване. Все пак резултатът трябва да се чете внимателно. Препоръката може да зависи от формулировката, езика, пазара, системата, текущия уеб достъп или други условия на изследването.

Изследванията за оценка на езикови модели многократно показват, че привидно малки промени във формулировката на подканата могат да повлияят на резултатите. Това е една от причините, поради които едно проучване не трябва да третира един-единствен удобен въпрос като пълна картина на поведението на платформата. Докладът State of What Art? A Call for Multi-Prompt LLM Evaluation е полезен фон тук: той не се отнася конкретно до изследване на марки, но демонстрира защо една формулировка на подкана може да доведе до прекалено самоуверени заключения.

Какво трябва да се брои за препоръка?

Рамката за измерване се нуждае от ясно правило. Точната класификация може да варира според проучването, но правилото трябва да бъде изрично и последователно прилагано.

Отговор може да бъде класифициран като препоръка, когато отговаря на двете условия:

1. идентифицира марката като опция, релевантна за нуждите, ситуацията или критериите на потребителя; и

2. изразява пригодност, предпочитание, съответствие или ясна покана за разглеждане на марката.

Сигналите за препоръка могат да включват фрази като:

• „обмислете Марка X“;

• „Марка X е подходяща за…“;

• „Марка X може да е подходяща, ако…“;

• „Бих избрал Марка X, когато…“;

• „Марка X е една от по-добрите опции за…“;

• „започнете с Марка X, ако вашият приоритет е…“.

Само формулировката не винаги е достатъчна. „Можете да разгледате Марка X“ може да бъде слабо включване в кратък списък, ако отговорът не дава причина за релевантност. Обратно, отговорът може да съдържа съществена препоръка, без да използва думата препоръчвам.

Поради тази причина класификацията трябва да разглежда целия отговор, а не изолирана фраза. Една система може първо да изброи няколко марки, след което да обясни коя отговаря на посоченото изискване. Тя може също така да препоръча марка условно, като отбележи важно ограничение. Както положителното съответствие, така и предупреждението трябва да бъдат запазени в доказателствата.

Какво не трябва да се брои за препоръка?

Следните ситуации обикновено трябва да се държат отделно от препоръките:

• марката е просто назована в списък без никаква индикация за съответствие;

• марката е цитирана като източник;

• отговорът описва марката фактически, след като потребителят я е назовал;

• марката се появява като конкурент или точка за сравнение;

• системата казва, че марката не е подходяща за посочената нужда;

• продуктът е назован, но неправилно приписан на марката;

• марката е включена, защото подканата е изисквала да бъдат изброени всички известни доставчици;

• отговорът е твърде неясен, за да се установи дали системата представя марката като релевантна.

Последната категория е по-важна, отколкото може да изглежда. AI отговорите често използват сбит език, особено в таблици и кратки списъци. Ако изследователят не може да определи дали се подразбира пригодност, записът трябва да бъде маркиран като двусмислен или прегледан съгласно документирано правило. Принуждаването на всеки отговор в бинарна класификация може да създаде подвеждащо ниво на прецизност.

Защо висок процент на споменавания може да съществува едновременно с нисък процент на препоръки

Една марка може да се появява често, но да получава малко препоръки по няколко причини.

Тя може да бъде широко разпозната, но свързана само с тесен продукт или аудитория. Може да бъде споменавана главно в подканени запитвания. Може да се използва като референтен източник, а не като опция за избор. Може да се появява в широки информационни сценарии, но не и в ориентирани към решения. Може също така да бъде споменавана заедно с конкуренти, без да бъде представена като подходяща за нуждите на потребителя.

Възможно е и обратното. Специализирана марка може да има умерен общ процент на споменавания, но силен процент на препоръки в малка група от изключително релевантни сценарии. Това може да бъде по-полезно от широка видимост, ако тези сценарии съответстват на реална търговска възможност.

Нито един резултат не може да бъде разбран само от един процент.

Един практически доклад следователно трябва да показва поне:

• броя на допустимите отговори;

• броя и процента на валидните споменавания;

• броя и процента на препоръките;

• разпределението между подканени и спонтанни наблюдения;

• резултати на ниво сценарий;

• резултати на ниво система;

• пълните отговори или съответните извлечения от доказателства;

• правилата за броене и класификация.

За определено проучване основните изчисления са прости:

Процент на споменавания = допустими отговори, съдържащи валидно споменаване ÷ всички допустими отговори × 100%

Процент на препоръки = допустими отговори, съдържащи валидна препоръка ÷ всички допустими отговори × 100%

Тези проценти не трябва да се представят като вероятности, че който и да е потребител ще види или получи препоръка. Те описват дела, наблюдаван в конкретната извадка: избрани сценарии, системи, език, пазар, дата и условия на изследване.

Препоръката все още може да бъде неточна

Препоръката не е синоним на положително представяне.

AI система може да препоръча марка въз основа на възможност, която тя вече не предлага. Тя може да обърка две лица с подобни имена, да припише продукт на грешна компания или да пропусне ограничение, което е решаващо за потребителя. Тя може също така да препоръча един доставчик, като същевременно игнорира по-подходящи алтернативи.

Тук измерването на препоръките се свързва с по-широкия въпрос за представянето на марката в големи езикови модели. Присъствието и препоръката са наблюдаеми събития, но качеството на представянето изисква допълнителни проверки: фактическа точност, съответствие с категорията, приписване на продукта, съответствие с аудиторията, контекст на конкурентите, източници и рамкиране.

Следователно препоръката трябва да се преглежда като отговор в контекст, а не автоматично да се празнува като успех.

Същият принцип се отнася и за халюцинациите на марката. Ако AI система препоръча компания, защото е измислила продукт, местоположение, сертификация или партньорство, отговорът съдържа събитие на препоръка, но също така и фактически проблем. Тези наблюдения трябва да останат различими в изследователския запис, вместо да бъдат сведени до един положителен резултат.

Как да измерваме споменаванията и препоръките във времето

Повтарящите се изследвания могат да разкрият дали наблюдаваното присъствие или модел на препоръки на дадена марка се променя. Но само ако сравнителната същност на проучването остава стабилна.

Едни и същи лица, логика на сценариите, аудитории, пазари, системи и правила за класификация трябва да бъдат запазени, когато е възможно. Промени в панела все още могат да бъдат необходими с развитието на бизнеса, но те трябва да бъдат документирани и третирани отделно от фиксираната част на проучването.

Това е разликата между еднократно наблюдение и мониторинг на марката в LLM. Мониторингът сравнява сравними изследователски периоди. Той не означава от време на време да питате чатбот дали харесва дадена марка.

Когато процентът на препоръки се промени, първите въпроси трябва да бъдат описателни:

• Кои сценарии са довели до промяната?

• Движението видимо ли е в няколко системи или само в една?

• Промениха ли се спонтанните препоръки, подканените препоръки или и двете?

• Марката стана ли основна препоръка или просто влезе в повече кратки списъци?

• Бяха ли препоръките фактически точни?

• Какво се случи с конкурентния набор?

• Останаха ли условията на изследването сравними?

Едва тогава екипът може да реши дали резултатът вероятно е смислен, изисква допълнително тестване или просто отразява нормални вариации в отговорите.

Прост модел за четене на AI отговори

Полезна последователност е:

Лице → сценарий → отговор → класификация → доказателство

Първо, дефинирайте лицето: официални имена на марки, варианти, продукти и взаимоотношения, които позволяват валидна идентификация.

Второ, дефинирайте сценария: кой пита, от какво се нуждае, на кой етап от решението е и кои ограничения са от значение.

Трето, запазете отговора, а не само оценка или етикет да/не.

Четвърто, класифицирайте наблюдението: без валидно споменаване, споменаване, включване в кратък списък, препоръка, основна препоръка, отрицателна препоръка или двусмислен резултат.

Накрая, запазете доказателствата, необходими за преглед на класификацията по-късно: пълен отговор, платформа, дата, език, видими източници, когато са налични, и всякакви съответни предупреждения.

Това не премахва интерпретацията от процеса. То прави интерпретацията подлежаща на преглед. То също така предотвратява благоприятно изглеждащ процент на споменавания да бъде сбъркан с доказателство, че AI системите активно насочват релевантни потребители към марката.

Какво не означава това разграничение

Разделянето на споменаванията от препоръките не означава, че всяко споменаване без препоръка е маловажно. Разпознаването, присъствието на източник, включването в категория и съвместното появяване на конкуренти могат да бъдат полезни наблюдения, когато отговарят на определен изследователски въпрос.

То също така не означава, че процентът на препоръки предсказва продажби, предпочитания или поведение на клиентите. Генерираните от AI отговори не са представителна извадка от пазарното търсене и тяхната формулировка може да варира в различните системи и време. Препоръката е доказателство за това, което избрана система е генерирала в избран сценарий – нито повече, нито по-малко.

Най-важното е, че по-висок процент на препоръки не е автоматично цел. Релевантният въпрос е дали марката е препоръчана точно, в сценариите, където тя наистина принадлежи, на аудиториите, които може да обслужва, и с представяне, съответстващо на проверена информация.

Ето защо споменаването и препоръката трябва да се измерват поотделно. Едното ни казва, че марката е влязла в отговора. Другото ни казва, че системата я е представила като релевантна опция. Смесването им може да създаде по-привлекателна метрика, но премахва разграничението, необходимо за разбиране на това, което AI системите всъщност казват.

Ако искате да изследвате тези наблюдения в определени сценарии и AI системи, създайте акаунт в Semantio и започнете с базово проучване.