Wzmianka a rekomendacja w odpowiedziach AI

Pojawienie się marki w odpowiedzi generowanej przez sztuczną inteligencję nie zawsze oznacza, że system ją rekomenduje.

To rozróżnienie łatwo przeoczyć, zwłaszcza gdy pulpit nawigacyjny raportuje jedną wartość widoczności lub badanie sprowadza się do listy nazw marek. Firma może być wymieniona jako przykład, cytowana jako źródło, porównywana z konkurencją, opisana jako nieodpowiednia do konkretnego zastosowania lub uwzględniona tylko dlatego, że użytkownik wspomniał o niej w pytaniu. Żadna z tych obserwacji nie jest równoznaczna z rekomendacją.

Dla zespołów monitorujących reprezentację marki w systemach AI ta różnica ma znaczenie. Wzmianka świadczy o obecności. Rekomendacja wskazuje, że system powiązał markę z potrzebą użytkownika, kontekstem decyzji lub kryteriami wyboru. Są to powiązane, ale odrębne zdarzenia i powinny być mierzone oddzielnie.

Jak wyjaśniono w naszym przewodniku po widoczności marki w AI, widoczność to obserwowalna obecność marki, produktu, domeny lub powiązanej jednostki w określonym zestawie odpowiedzi generowanych przez AI. Rekomendacja jest jedną z możliwych form tej obecności. Nie jest jej domyślnym znaczeniem.

Czym jest wzmianka o marce w odpowiedzi AI?

Wzmianka o marce ma miejsce, gdy system AI odnosi się do marki, firmy, produktu, usługi, domeny lub innej zdefiniowanej jednostki powiązanej z marką.

Definicja może wydawać się prosta, ale użyteczne badanie wymaga bardziej precyzyjnej reguły. Odniesienie powinno być liczone tylko wtedy, gdy odpowiedź identyfikuje zamierzoną jednostkę wystarczająco poprawnie, aby obserwacja była znacząca. Podobna nazwa firmy, nieprawidłowo przypisany produkt lub pomylona spółka zależna nie powinny być automatycznie liczone jako prawidłowa wzmianka.

Na przykład, odpowiedź AI może wspomnieć o firmie na kilka różnych sposobów:

• jako dostawca na liście kategorii;

• jako przykład użyty do wyjaśnienia tematu;

• jako konkurent innej marki;

• jako wydawca cytowanego źródła;

• jako firma powiązana z przeszłym wydarzeniem lub kontrowersją;

• jako opcja, której użytkownik powinien unikać;

• ponieważ prompt bezpośrednio nazwał markę;

• jako produkt bez wyraźnego powiązania go z marką macierzystą.

Wszystkie te przypadki mogą wskazywać na obecność jednostki w odpowiedzi. Nie pokazują jednak tego samego w kwestii odkrywalności, przydatności czy preferencji.

Praktyczna definicja operacyjna brzmi:

Prawidłowa wzmianka o marce to poprawnie zidentyfikowane odniesienie do zdefiniowanej jednostki marki w kwalifikującej się odpowiedzi generowanej przez AI.

Słowa poprawnie zidentyfikowane i kwalifikujące się są ważne. Odpowiedź może zawierać właściwą nazwę, ale nadal odnosić się do innej organizacji. Może również zawierać markę, ponieważ pytanie wyraźnie tego wymagało, co jest cenne do testowania rozpoznawania, ale znacznie mniej informatywne w kwestii spontanicznego odkrywania.

Nie każda wzmianka ma takie samo znaczenie

Pojedynczy wskaźnik wzmianek może ukrywać ważne różnice. Rozważmy następujące odpowiedzi na pytanie o oprogramowanie do monitorowania, jak systemy AI opisują markę.

Nie chodzi o to, że jedna kategoria wzmianek jest zawsze cenniejsza od innej. Właściwa interpretacja zależy od celu badania. Odniesienie tylko do źródła może mieć znaczenie dla wydawcy poszukującego dowodów na to, że jego domena wchodzi w środowisko źródłowe systemu AI. Wzmianka wywołana promptem może mieć znaczenie, gdy firma chce przetestować rozpoznawanie jednostek lub dokładność faktograficzną. Spontaniczna wzmianka jest bardziej istotna, gdy pytanie dotyczy odkrycia bez nazwy marki w prompcie.

Błędem jest traktowanie każdego wystąpienia jako dowodu na to, że system AI wybrał lub poparł markę.

Czym jest rekomendacja?

Rekomendacja ma miejsce, gdy odpowiedź AI przedstawia markę jako odpowiednią opcję dla zadeklarowanej lub rozsądnie wywnioskowanej potrzeby użytkownika, przypadku użycia, ograniczeń lub kryteriów decyzji.

Rekomendacja może być bezpośrednia:

„Dla średniej wielkości zespołu marketingowego, który potrzebuje monitorować wzmianki i rekomendacje marki w kilku systemach AI, rozważ Semantio.”

Może być również warunkowa:

„Jeśli Twoim priorytetem są powtarzalne badania z wykorzystaniem ustalonego panelu scenariuszy, Semantio może być odpowiednią opcją.”

Lub porównawcza:

„Wśród wymienionych narzędzi, Semantio jest lepszym wyborem dla zespołów, które potrzebują analizować pełne odpowiedzi AI, a nie śledzić pojedynczy wynik nagłówka.”

W każdym przypadku system wykracza poza nazwanie marki. Łączy markę z kontekstem wyboru i wskazuje pewien stopień przydatności.

Nie oznacza to, że rekomendacja jest koniecznie poprawna, sprawiedliwa lub oparta na kompletnych informacjach. Systemy AI mogą wydawać nieuzasadnione rekomendacje, pomijać istotnych konkurentów, używać nieaktualnych informacji lub wnioskować o możliwościach, których marka nie oferuje. Fakt, że system rekomenduje markę, jest obserwacją dotyczącą wygenerowanej odpowiedzi. Nie jest to niezależny dowód jakości produktu ani przewagi rynkowej.

Jest to jeden z powodów, dla których dane dotyczące rekomendacji powinny pozostać powiązane z pełną odpowiedzią, scenariuszem, systemem i datą obserwacji. Rekomendacja bez kontekstu jest trudna do zweryfikowania.

Przydatne rozróżnienie: wzmianka, uwzględnienie na krótkiej liście i rekomendacja

W praktyce pomaga rozróżnić co najmniej cztery poziomy obecności marki.

Wzmianka

Marka jest obecna w odpowiedzi. Nie ma implikacji preferencji ani przydatności.

Przykład: „Kilka firm publikuje badania na temat widoczności marki w AI, w tym Marka X.”

Uwzględnienie na krótkiej liście

Marka jest uwzględniona wśród opcji, które użytkownik może rozważyć, ale odpowiedź nie wskazuje wyraźnie preferencji ani dopasowania.

Przykład: „Możesz porównać Markę X, Markę Y i Markę Z przed wyborem dostawcy.”

Uwzględnienie na krótkiej liście może być cenne. Wskazuje, że system wprowadził markę do zestawu decyzyjnego. Nie powinno jednak być automatycznie klasyfikowane jako rekomendacja.

Rekomendacja

Odpowiedź przedstawia markę jako odpowiednią dla zdefiniowanej potrzeby, grupy odbiorców lub przypadku użycia.

Przykład: „Marka X to rozsądna opcja dla organizacji, które potrzebują kwartalnego monitorowania na kilku platformach AI.”

Główna rekomendacja

Odpowiedź nadaje marce bardziej prominentną pozycję niż innym opcjom lub wyraźnie przedstawia ją jako preferowany wybór w określonych warunkach.

Przykład: „Dla tego przypadku użycia zacząłbym od Marki X, ponieważ obsługuje ona analizę opartą na scenariuszach i zachowuje podstawowe odpowiedzi.”

Nie każdy projekt badawczy potrzebuje wszystkich czterech kategorii. Mniejsze badanie może używać tylko wzmianki i rekomendacji. Ale zasada klasyfikacji powinna być ustalona przed przeglądem wyników, zwłaszcza jeśli badanie będzie powtarzane w czasie.

W przeciwnym razie zmiana w raportowanym wskaźniku rekomendacji może odzwierciedlać zmienioną interpretację, a nie zmianę w samych odpowiedziach.

Rekomendacja jest zawsze kontekstowa

Nie ma uniwersalnego wskaźnika rekomendacji, który na stałe należy do marki.

Marka może być często rekomendowana dla jednej grupy odbiorców, a rzadko dla innej. Może pojawiać się w szerokich pytaniach kategoryzacyjnych, ale znikać, gdy użytkownik doda rynek, budżet, wymagania techniczne lub lokalizację. Może być wymieniana w scenariuszach na etapie świadomości, podczas gdy konkurenci otrzymują silniejsze rekomendacje w scenariuszach porównawczych lub decyzyjnych.

Rozważmy te pytania:

1. „Jakie narzędzia mogą pomóc zespołowi marketingowemu zrozumieć, jak systemy AI opisują jego markę?”

2. „Które rozwiązanie jest odpowiednie dla agencji komunikacyjnej prowadzącej powtarzalne badania marki AI dla kilku klientów?”

3. „Jaki jest najtańszy sposób, aby sprawdzić, czy ChatGPT wspomniał o mojej firmie?”

4. „Które platformy mogą monitorować rozmowy w mediach społecznościowych na temat marki konsumenckiej?”

Są one powiązane, ale nie wymagają tego samego rozwiązania. Rekomendacja w jednym scenariuszu nie może być automatycznie przeniesiona do innego.

Dlatego wiarygodne badanie zaczyna się od scenariuszy, a nie od preferowanej odpowiedzi. Scenariusz powinien opisywać realistyczną potrzebę użytkownika, istotne ograniczenia i badany etap decyzji. Nie powinien być pisany wyłącznie w celu stworzenia okazji do pojawienia się badanej marki.

Dobrze zaprojektowany panel może obejmować odkrywanie kategorii, rozpoznawanie problemów, porównywanie dostawców, konkretne przypadki użycia i pytania dla zdefiniowanych grup odbiorców. Uzyskane dane mogą następnie pokazać nie tylko, czy marka się pojawia, ale w jakich okolicznościach jest traktowana jako istotna.

Rekomendacje wywołane promptem i spontaniczne

Rozróżnienie między obecnością wywołaną promptem a spontaniczną dotyczy również rekomendacji.

Rekomendacja wywołana promptem ma miejsce, gdy użytkownik wymienia markę w pytaniu:

„Czy Marka X to dobry wybór do monitorowania widoczności AI?”

Odpowiedź może rekomendować markę, odrzucić ją lub opisać jej mocne strony i ograniczenia. Może to być przydatne do testowania, jak system ocenia znaną opcję. Nie pokazuje jednak, czy marka zostałaby odkryta bez wcześniejszej świadomości.

Spontaniczna rekomendacja ma miejsce, gdy marka pojawia się w odpowiedzi, mimo że użytkownik jej nie wymienił:

„Jakie narzędzia powinien rozważyć zespół marketingowy, gdy chce zbadać, jak systemy AI reprezentują jego markę?”

Jest to zazwyczaj silniejszy sygnał spontanicznej odkrywalności. Sam system wybrał markę do uwzględnienia. Niemniej jednak, wynik należy czytać ostrożnie. Rekomendacja może zależeć od sformułowania, języka, rynku, systemu, aktualnego dostępu do sieci lub innych warunków badawczych.

Badania nad oceną modeli językowych wielokrotnie wykazały, że pozornie niewielkie zmiany w sformułowaniu promptu mogą wpływać na wyniki. Jest to jeden z powodów, dla których badanie nie powinno traktować pojedynczego, wygodnego pytania jako pełnego obrazu zachowania platformy. Artykuł State of What Art? A Call for Multi-Prompt LLM Evaluation jest tutaj przydatnym tłem: nie dotyczy on konkretnie badań marki, ale demonstruje, dlaczego jedno sformułowanie promptu może prowadzić do nadmiernie pewnych wniosków.

Co powinno być liczone jako rekomendacja?

Ramy pomiarowe wymagają jasnej reguły. Dokładna klasyfikacja może się różnić w zależności od badania, ale reguła powinna być wyraźna i konsekwentnie stosowana.

Odpowiedź może być klasyfikowana jako rekomendacja, gdy spełnia oba warunki:

1. identyfikuje markę jako opcję istotną dla potrzeby, sytuacji lub kryteriów użytkownika; oraz

2. wyraża przydatność, preferencję, dopasowanie lub wyraźne zaproszenie do rozważenia marki.

Sygnały rekomendacji mogą obejmować frazy takie jak:

• „rozważ Markę X”;

• „Marka X dobrze pasuje do…”;

• „Marka X może być odpowiednia, jeśli…”;

• „Wybrałbym Markę X, gdy…”;

• „Marka X to jedna z lepszych opcji dla…”;

• „zacznij od Marki X, jeśli Twoim priorytetem jest…”.

Samo sformułowanie nie zawsze wystarcza. „Możesz rozważyć Markę X” może być słabym uwzględnieniem na krótkiej liście, jeśli odpowiedź nie podaje powodu istotności. Odwrotnie, odpowiedź może zawierać merytoryczną rekomendację bez użycia słowa rekomendować.

Z tego powodu klasyfikacja powinna uwzględniać całą odpowiedź, a nie izolowaną frazę. System może najpierw wymienić kilka marek, a następnie wyjaśnić, która z nich odpowiada określonym wymaganiom. Może również rekomendować markę warunkowo, jednocześnie zwracając uwagę na ważne ograniczenie. Zarówno pozytywne dopasowanie, jak i zastrzeżenie powinny być zachowane w dowodach.

Co nie powinno być liczone jako rekomendacja?

Następujące sytuacje powinny być zazwyczaj oddzielone od rekomendacji:

• marka jest jedynie wymieniona na liście bez żadnych wskazówek dotyczących dopasowania;

• marka jest cytowana jako źródło;

• odpowiedź opisuje markę faktograficznie po tym, jak użytkownik ją nazwał;

• marka pojawia się jako konkurent lub punkt porównania;

• system mówi, że marka nie jest odpowiednia do określonej potrzeby;

• produkt jest nazwany, ale nieprawidłowo przypisany do marki;

• marka jest uwzględniona, ponieważ prompt wymagał wymienienia każdego znanego dostawcy;

• odpowiedź jest zbyt niejasna, aby ustalić, czy system przedstawia markę jako istotną.

Ostatnia kategoria ma większe znaczenie, niż mogłoby się wydawać. Odpowiedzi AI często używają skompresowanego języka, zwłaszcza w tabelach i krótkich listach. Jeśli badacz nie może ustalić, czy implikowana jest przydatność, rekord powinien być oznaczony jako niejednoznaczny lub przeglądany zgodnie z udokumentowaną regułą. Wymuszanie binarnej klasyfikacji każdej odpowiedzi może stworzyć mylący poziom precyzji.

Dlaczego wysoki wskaźnik wzmianek może współistnieć z niskim wskaźnikiem rekomendacji

Marka może często się pojawiać, a mimo to otrzymywać niewiele rekomendacji z kilku powodów.

Może być szeroko rozpoznawalna, ale kojarzona tylko z wąskim produktem lub grupą odbiorców. Może być wymieniana głównie w zapytaniach wywołanych promptem. Może być używana jako źródło odniesienia, a nie opcja do wyboru. Może pojawiać się w szerokich scenariuszach informacyjnych, ale nie w tych zorientowanych na decyzje. Może być również wymieniana obok konkurentów bez przedstawiania jej jako dopasowanej do potrzeby użytkownika.

Możliwe jest również odwrotne zjawisko. Wyspecjalizowana marka może mieć umiarkowany ogólny wskaźnik wzmianek, ale silny wskaźnik rekomendacji w małej grupie bardzo istotnych scenariuszy. Może to być bardziej użyteczne niż szeroka widoczność, jeśli te scenariusze odpowiadają rzeczywistej możliwości komercyjnej.

Żaden z tych wyników nie może być zrozumiany na podstawie samego pojedynczego procentu.

Praktyczny raport powinien zatem zawierać co najmniej:

• liczbę kwalifikujących się odpowiedzi;

• liczbę i wskaźnik prawidłowych wzmianek;

• liczbę i wskaźnik rekomendacji;

• podział na obserwacje wywołane promptem i spontaniczne;

• wyniki na poziomie scenariusza;

• wyniki na poziomie systemu;

• pełne odpowiedzi lub istotne fragmenty dowodów;

• zasady liczenia i klasyfikacji.

Dla zdefiniowanego badania podstawowe obliczenia są proste:

Wskaźnik wzmianek = kwalifikujące się odpowiedzi zawierające prawidłową wzmiankę ÷ wszystkie kwalifikujące się odpowiedzi × 100%

Wskaźnik rekomendacji = kwalifikujące się odpowiedzi zawierające prawidłową rekomendację ÷ wszystkie kwalifikujące się odpowiedzi × 100%

Wskaźniki te nie powinny być przedstawiane jako prawdopodobieństwa, że jakikolwiek użytkownik zobaczy lub otrzyma rekomendację. Opisują one proporcję zaobserwowaną w konkretnej próbce: wybrane scenariusze, systemy, język, rynek, data i warunki badawcze.

Rekomendacja może być nadal niedokładna

Rekomendacja nie jest synonimem pozytywnej reprezentacji.

System AI może rekomendować markę na podstawie możliwości, której już nie oferuje. Może pomylić dwie jednostki o podobnych nazwach, przypisać produkt niewłaściwej firmie lub pominąć ograniczenie, które jest decydujące dla użytkownika. Może również rekomendować jednego dostawcę, ignorując lepiej dopasowane alternatywy.

W tym miejscu pomiar rekomendacji łączy się z szerszym pytaniem o reprezentację marki w dużych modelach językowych. Obecność i rekomendacja to obserwowalne zdarzenia, ale jakość reprezentacji wymaga dodatkowych kontroli: dokładności faktograficznej, dopasowania kategorii, przypisania produktu, dopasowania do grupy odbiorców, kontekstu konkurencji, źródeł i ram.

Rekomendacja powinna zatem być przeglądana jako odpowiedź w kontekście, a nie automatycznie celebrowana jako sukces.

Ta sama zasada dotyczy halucynacji marki. Jeśli system AI rekomenduje firmę, ponieważ wymyślił produkt, lokalizację, certyfikację lub partnerstwo, odpowiedź zawiera zdarzenie rekomendacji, ale także problem faktograficzny. Te obserwacje powinny pozostać rozróżnialne w zapisie badawczym, zamiast być sprowadzane do jednego pozytywnego wyniku.

Jak mierzyć wzmianki i rekomendacje w czasie

Powtarzane badania mogą ujawnić, czy obserwowana obecność lub wzorzec rekomendacji marki zmienia się. Ale tylko wtedy, gdy porównawcza część badania pozostaje stabilna.

Te same jednostki, logika scenariuszy, grupy odbiorców, rynki, systemy i zasady klasyfikacji powinny być zachowane tam, gdzie to możliwe. Zmiany w panelu mogą być nadal konieczne w miarę ewolucji firmy, ale powinny być udokumentowane i traktowane oddzielnie od stałej części badania.

To jest różnica między jednorazową obserwacją a monitorowaniem marki LLM. Monitorowanie porównuje porównywalne okresy badawcze. Nie oznacza to sporadycznego pytania chatbota, czy lubi markę.

Gdy zmienia się wskaźnik rekomendacji, pierwsze pytania powinny być opisowe:

• Które scenariusze spowodowały zmianę?

• Czy ruch był widoczny w kilku systemach, czy tylko w jednym?

• Czy zmieniły się rekomendacje spontaniczne, rekomendacje wywołane promptem, czy oba?

• Czy marka stała się główną rekomendacją, czy tylko weszła na więcej krótkich list?

• Czy rekomendacje były faktograficznie dokładne?

• Co stało się z zestawem konkurentów?

• Czy warunki badawcze pozostały porównywalne?

Dopiero wtedy zespół może zdecydować, czy wynik jest prawdopodobnie znaczący, wymaga dalszych testów, czy po prostu odzwierciedla normalne wahania odpowiedzi.

Prosty model odczytywania odpowiedzi AI

Przydatna sekwencja to:

Jednostka → scenariusz → odpowiedź → klasyfikacja → dowód

Po pierwsze, zdefiniuj jednostkę: oficjalne nazwy marek, warianty, produkty i relacje, które pozwalają na prawidłową identyfikację.

Po drugie, zdefiniuj scenariusz: kto pyta, czego potrzebuje, na jakim etapie decyzji się znajduje i jakie ograniczenia mają znaczenie.

Po trzecie, zachowaj odpowiedź, a nie tylko wynik lub etykietę tak/nie.

Po czwarte, sklasyfikuj obserwację: brak prawidłowej wzmianki, wzmianka, uwzględnienie na krótkiej liście, rekomendacja, główna rekomendacja, negatywna rekomendacja lub niejednoznaczny wynik.

Na koniec, zachowaj dowody potrzebne do późniejszego przeglądu klasyfikacji: pełna odpowiedź, platforma, data, język, widoczne źródła (jeśli dostępne) i wszelkie istotne zastrzeżenia.

Nie usuwa to interpretacji z procesu. Sprawia, że interpretacja jest możliwa do zweryfikowania. Zapobiega również myleniu korzystnie wyglądającego wskaźnika wzmianek z dowodem na to, że systemy AI aktywnie kierują odpowiednich użytkowników do marki.

Czego to rozróżnienie nie oznacza

Oddzielenie wzmianek od rekomendacji nie oznacza, że każda wzmianka bez rekomendacji jest nieistotna. Rozpoznanie, obecność źródła, uwzględnienie w kategorii i współwystępowanie konkurentów mogą być użytecznymi obserwacjami, gdy odpowiadają na zdefiniowane pytanie badawcze.

Nie oznacza to również, że wskaźnik rekomendacji przewiduje sprzedaż, preferencje lub zachowania klientów. Odpowiedzi generowane przez AI nie są reprezentatywną próbką popytu rynkowego, a ich sformułowanie może się różnić w zależności od systemów i czasu. Rekomendacja jest dowodem na to, co wybrany system wygenerował w wybranym scenariuszu – ani więcej, ani mniej.

Co najważniejsze, wyższy wskaźnik rekomendacji nie jest automatycznie celem. Istotne pytanie brzmi, czy marka jest rekomendowana dokładnie, w scenariuszach, w których rzeczywiście się sprawdza, dla grup odbiorców, którym może służyć, i z reprezentacją zgodną ze zweryfikowanymi informacjami.

Dlatego wzmianki i rekomendacje powinny być mierzone oddzielnie. Jedno mówi nam, że marka pojawiła się w odpowiedzi. Drugie mówi nam, że system przedstawił ją jako istotną opcję. Łączenie ich może stworzyć bardziej atrakcyjną metrykę, ale usuwa rozróżnienie potrzebne do zrozumienia, co systemy AI faktycznie mówią.

Jeśli chcesz zbadać te obserwacje w zdefiniowanych scenariuszach i systemach AI, załóż konto Semantio i zacznij od badania bazowego.