Omnämnande kontra rekommendation i AI-svar

Att ett varumärke dyker upp i ett AI-genererat svar betyder inte nödvändigtvis att systemet rekommenderar det.

Denna distinktion är lätt att missa, särskilt när en instrumentpanel rapporterar en enda synlighetssiffra eller en studie reduceras till en lista med varumärkesnamn. Ett företag kan nämnas som ett exempel, citeras som en källa, jämföras med konkurrenter, beskrivas som olämpligt för ett visst användningsfall eller inkluderas endast för att användaren nämnde det i frågan. Ingen av dessa observationer är likvärdig med en rekommendation.

För team som övervakar varumärkesrepresentation i AI-system är skillnaden viktig. Ett omnämnande etablerar närvaro. En rekommendation indikerar att systemet har kopplat varumärket till en användares behov, beslutskontext eller urvalskriterier. Dessa är relaterade men separata händelser, och de bör mätas separat.

Som förklaras i vår guide till AI-varumärkessynlighet, är synlighet den observerbara närvaron av ett varumärke, en produkt, en domän eller en relaterad entitet i en definierad uppsättning AI-genererade svar. Rekommendation är en möjlig form av den närvaron. Det är inte dess standardbetydelse.

Vad är ett varumärkesomnämnande i ett AI-svar?

Ett varumärkesomnämnande inträffar när ett AI-system refererar till ett varumärke, ett företag, en produkt, en tjänst, en domän eller en annan definierad entitet kopplad till varumärket.

Definitionen kan låta enkel, men en användbar studie behöver en mer precis regel. En referens bör endast räknas när svaret identifierar den avsedda entiteten tillräckligt korrekt för att observationen ska vara meningsfull. Ett liknande företagsnamn, en felaktigt tillskriven produkt eller ett förvirrat dotterbolag bör inte automatiskt räknas som ett giltigt omnämnande.

Till exempel kan ett AI-svar nämna ett företag på flera olika sätt:

• som en leverantör i en kategorilista;

• som ett exempel som används för att förklara ett ämne;

• som en konkurrent till ett annat varumärke;

• som utgivare av en citerad källa;

• som ett företag kopplat till en tidigare händelse eller kontrovers;

• som ett alternativ användaren bör undvika;

• eftersom prompten direkt nämnde varumärket;

• som en produkt utan att tydligt koppla den till dess moderbolag.

Alla dessa kan visa att entiteten finns i svaret. De visar dock inte samma sak om upptäckbarhet, lämplighet eller preferens.

En praktisk operationell definition är:

Ett giltigt varumärkesomnämnande är en korrekt identifierad referens till en definierad varumärkesentitet inom ett godkänt AI-genererat svar.

Orden korrekt identifierad och godkänt är viktiga. Ett svar kan innehålla rätt namn men ändå referera till en annan organisation. Det kan också innehålla varumärket eftersom frågan uttryckligen krävde det, vilket är värdefullt för igenkänningstestning men mycket mindre informativt om obrandad upptäckt.

Inte varje omnämnande har samma betydelse

En enda omnämnandefrekvens kan dölja viktiga skillnader. Tänk på följande svar på en fråga om programvara för att övervaka hur AI-system beskriver ett varumärke.

Poängen är inte att en kategori av omnämnande alltid är mer värdefull än en annan. Rätt tolkning beror på forskningssyftet. En referens som endast är en källa kan vara viktig för en utgivare som söker bevis på att dess domän ingår i ett AI-systems källmiljö. Ett framkallat omnämnande kan vara viktigt när ett företag vill testa entitetsigenkänning eller faktisk noggrannhet. Ett spontant omnämnande är mer relevant när frågan gäller upptäckt utan ett varumärkesnamn i prompten.

Misstaget är att behandla varje förekomst som bevis på att AI-systemet har valt eller godkänt varumärket.

Vad är en rekommendation?

En rekommendation inträffar när ett AI-svar presenterar ett varumärke som ett lämpligt alternativ för användarens angivna eller rimligen härledda behov, användningsfall, begränsningar eller beslutskriterier.

En rekommendation kan vara direkt:

”För ett medelstort marknadsteam som behöver övervaka varumärkesomnämnanden och rekommendationer över flera AI-system, överväg Semantio.”

Den kan också vara villkorlig:

”Om din prioritet är upprepad forskning med en fast scenariopanel, kan Semantio vara ett lämpligt alternativ.”

Eller jämförande:

”Bland de listade verktygen är Semantio det starkare valet för team som behöver analysera fullständiga AI-svar snarare än att spåra en enda rubrikpoäng.”

I varje fall går systemet bortom att bara nämna varumärket. Det kopplar varumärket till en urvalskontext och indikerar en viss grad av lämplighet.

Det betyder inte att rekommendationen nödvändigtvis är korrekt, rättvis eller baserad på fullständig information. AI-system kan göra ogrundade rekommendationer, förbise relevanta konkurrenter, använda föråldrad information eller härleda funktioner som ett varumärke inte erbjuder. Att ett system rekommenderar ett varumärke är en observation om det genererade svaret. Det är inte ett oberoende bevis på produktkvalitet eller marknadsöverlägsenhet.

Detta är en anledning till varför rekommendationsdata bör förbli kopplade till det fullständiga svaret, scenariot, systemet och datumet för observationen. En rekommendation utan sammanhang är svår att granska.

En användbar distinktion: omnämnande, inkludering på kortlista och rekommendation

I praktiken hjälper det att skilja på minst fyra nivåer av varumärkesnärvaro.

Omnämnande

Varumärket finns i svaret. Ingen preferens eller lämplighet antyds.

Exempel: ”Flera företag publicerar forskning om AI-varumärkessynlighet, inklusive Varumärke X.”

Inkludering på kortlista

Varumärket ingår bland alternativ som användaren kan överväga, men svaret indikerar inte tydligt en preferens eller passform.

Exempel: ”Du kan jämföra Varumärke X, Varumärke Y och Varumärke Z innan du väljer en leverantör.”

Inkludering på kortlista kan vara värdefullt. Det indikerar att systemet har fört in varumärket i en beslutsuppsättning. Men det bör inte automatiskt klassificeras som en rekommendation.

Rekommendation

Svaret presenterar varumärket som lämpligt för ett definierat behov, en målgrupp eller ett användningsfall.

Exempel: ”Varumärke X är ett rimligt alternativ för organisationer som behöver kvartalsvis övervakning över flera AI-plattformar.”

Primär rekommendation

Svaret ger varumärket en mer framträdande position än andra alternativ eller presenterar det uttryckligen som det föredragna valet under de angivna förhållandena.

Exempel: ”För detta användningsfall skulle jag börja med Varumärke X eftersom det stöder scenariobaserad analys och bevarar de underliggande svaren.”

Inte varje forskningsdesign behöver alla fyra kategorier. En mindre studie kan endast använda omnämnande och rekommendation. Men klassificeringsregeln bör beslutas innan resultaten granskas, särskilt om studien kommer att upprepas över tid.

Annars kan en förändring i den rapporterade rekommendationsfrekvensen återspegla en ändrad tolkning snarare än en förändring i svaren själva.

Rekommendation är alltid kontextuell

Det finns ingen universell rekommendationsfrekvens som permanent tillhör ett varumärke.

Ett varumärke kan rekommenderas ofta för en målgrupp och sällan för en annan. Det kan dyka upp i breda kategorifrågor men försvinna när användaren lägger till en marknad, budget, tekniskt krav eller plats. Det kan nämnas i medvetenhetsstegsscenarier medan konkurrenter får starkare rekommendationer i jämförelse- eller beslutsstegsscenarier.

Tänk på dessa frågor:

1. ”Vilka verktyg kan hjälpa ett marknadsteam att förstå hur AI-system beskriver dess varumärke?”

2. ”Vilken lösning är lämplig för en kommunikationsbyrå som utför upprepningsbara AI-varumärkesstudier för flera kunder?”

3. ”Vad är det billigaste sättet att kontrollera om ChatGPT har nämnt mitt företag?”

4. ”Vilka plattformar kan övervaka sociala mediekonversationer om ett konsumentvarumärke?”

De är relaterade, men de frågar inte efter samma lösning. En rekommendation i ett scenario kan inte automatiskt överföras till ett annat.

Det är därför en försvarbar studie börjar med scenarier, inte med ett föredraget svar. Scenariot bör beskriva ett realistiskt användarbehov, relevanta begränsningar och det beslutsskede som undersöks. Det bör inte skrivas enbart för att skapa en möjlighet för det undersökta varumärket att dyka upp.

En väl utformad panel kan inkludera kategorupptäckt, problemigenkänning, leverantörsjämförelse, specifika användningsfall och frågor för definierade målgrupper. De resulterande uppgifterna kan sedan visa inte bara om varumärket dyker upp, utan under vilka omständigheter det behandlas som relevant.

Framkallade och spontana rekommendationer

Skillnaden mellan framkallad och spontan närvaro gäller även för rekommendationer.

En framkallad rekommendation inträffar när användaren nämner varumärket i frågan:

”Är Varumärke X ett bra val för att övervaka AI-synlighet?”

Svaret kan rekommendera varumärket, avvisa det eller beskriva dess styrkor och begränsningar. Detta kan vara användbart för att testa hur systemet utvärderar ett känt alternativ. Det visar inte om varumärket skulle upptäckas utan tidigare medvetenhet.

En spontan rekommendation inträffar när varumärket dyker upp i svaret trots att användaren inte nämnde det:

”Vilka verktyg bör ett marknadsteam överväga när det vill undersöka hur AI-system representerar dess varumärke?”

Detta är vanligtvis en starkare signal om obrandad upptäckbarhet. Systemet självt har valt varumärket för inkludering. Ändå måste resultatet läsas noggrant. Rekommendationen kan bero på formuleringen, språket, marknaden, systemet, aktuell webbåtkomst eller andra forskningsförhållanden.

Forskning om utvärdering av språkmodeller har upprepade gånger visat att till synes små förändringar i promptformuleringen kan påverka utdata. Det är en anledning till varför en studie inte bör behandla en enda bekväm fråga som en komplett bild av en plattforms beteende. Artikeln State of What Art? A Call for Multi-Prompt LLM Evaluation är användbar bakgrund här: den handlar inte specifikt om varumärkesforskning, men den visar varför en promptformulering kan leda till överdrivet självsäkra slutsatser.

Vad ska räknas som en rekommendation?

Ett mätramverk behöver en tydlig regel. Den exakta klassificeringen kan variera beroende på studie, men regeln bör vara explicit och konsekvent tillämpad.

Ett svar kan klassificeras som en rekommendation när det uppfyller båda villkoren:

1. det identifierar varumärket som ett alternativ relevant för användarens behov, situation eller kriterier; och

2. det uttrycker lämplighet, preferens, passform eller en tydlig inbjudan att överväga varumärket.

Signaler om rekommendation kan inkludera fraser som:

• ”överväg Varumärke X”;

• ”Varumärke X passar bra för…”;

• ”Varumärke X kan vara lämpligt om…”;

• ”Jag skulle välja Varumärke X när…”;

• ”Varumärke X är ett av de bättre alternativen för…”;

• ”börja med Varumärke X om din prioritet är…”.

Enbart formuleringen räcker inte alltid. ”Du kan överväga Varumärke X” kan vara en svag inkludering på kortlista om svaret inte ger någon anledning till relevans. Omvänt kan ett svar innehålla en substantiell rekommendation utan att använda ordet rekommendera.

Av denna anledning bör klassificeringen beakta hela svaret snarare än en isolerad fras. Ett system kan först lista flera varumärken och sedan förklara vilket som passar det specificerade kravet. Det kan också rekommendera ett varumärke villkorligt samtidigt som det noterar en viktig begränsning. Både den positiva passformen och förbehållet bör bevaras i bevisen.

Vad ska inte räknas som en rekommendation?

Följande situationer bör vanligtvis hållas åtskilda från rekommendationer:

• varumärket nämns bara i en lista utan någon indikation på passform;

• varumärket citeras som en källa;

• svaret beskriver varumärket faktamässigt efter att användaren nämnt det;

• varumärket dyker upp som en konkurrent eller jämförelsepunkt;

• systemet säger att varumärket inte är lämpligt för det angivna behovet;

• produkten nämns men tillskrivs felaktigt varumärket;

• varumärket inkluderas eftersom prompten krävde att varje känd leverantör skulle listas;

• svaret är för vagt för att fastställa om systemet presenterar varumärket som relevant.

Den sista kategorin är viktigare än den kan verka. AI-svar använder ofta komprimerat språk, särskilt i tabeller och korta listor. Om en forskare inte kan avgöra om lämplighet antyds, bör posten markeras som tvetydig eller granskas enligt en dokumenterad regel. Att tvinga varje svar till en binär klassificering kan skapa en missvisande nivå av precision.

Varför en hög omnämnandefrekvens kan samexistera med en låg rekommendationsfrekvens

Ett varumärke kan dyka upp ofta men få få rekommendationer av flera skäl.

Det kan vara allmänt erkänt men endast associerat med en smal produkt eller målgrupp. Det kan nämnas främst i framkallade frågor. Det kan användas som en referenskälla snarare än ett alternativ att välja. Det kan dyka upp i breda informationsscenarier men inte i beslutsfokuserade. Det kan också nämnas tillsammans med konkurrenter utan att presenteras som en passform för användarens behov.

Det omvända är också möjligt. Ett specialiserat varumärke kan ha en blygsam total omnämnandefrekvens men en stark rekommendationsfrekvens inom en liten grupp mycket relevanta scenarier. Det kan vara mer användbart än bred synlighet om dessa scenarier motsvarar en verklig kommersiell möjlighet.

Inget av resultaten kan förstås från enbart en enda procentsats.

En praktisk rapport bör därför visa åtminstone:

• antalet godkända svar;

• antalet och frekvensen av giltiga omnämnanden;

• antalet och frekvensen av rekommendationer;

• uppdelningen mellan framkallade och spontana observationer;

• resultat på scenarionivå;

• resultat på systemnivå;

• de fullständiga svaren eller relevanta bevisutdrag;

• räkne- och klassificeringsreglerna.

För en definierad studie är de grundläggande beräkningarna enkla:

Omnämnandefrekvens = godkända svar som innehåller ett giltigt omnämnande ÷ alla godkända svar × 100%

Rekommendationsfrekvens = godkända svar som innehåller en giltig rekommendation ÷ alla godkända svar × 100%

Dessa frekvenser bör inte presenteras som sannolikheter att någon användare kommer att se eller få en rekommendation. De beskriver den observerade proportionen i det specifika urvalet: valda scenarier, system, språk, marknad, datum och forskningsförhållanden.

En rekommendation kan fortfarande vara felaktig

Rekommendation är inte synonymt med positiv representation.

Ett AI-system kan rekommendera ett varumärke baserat på en funktion det inte längre erbjuder. Det kan förväxla två entiteter med liknande namn, tillskriva en produkt till fel företag eller utelämna en begränsning som är avgörande för användaren. Det kan också rekommendera en leverantör samtidigt som det ignorerar bättre lämpade alternativ.

Det är här rekommendationsmätning kopplas till den bredare frågan om varumärkesrepresentation i stora språkmodeller. Närvaro och rekommendation är observerbara händelser, men kvaliteten på representationen kräver ytterligare kontroller: faktisk noggrannhet, kategoripassform, produkttillskrivning, målgruppspassform, konkurrentkontext, källor och inramning.

En rekommendation bör därför granskas som ett svar i sitt sammanhang, inte automatiskt firas som en framgång.

Samma princip gäller för varumärkeshallucinationer. Om ett AI-system rekommenderar ett företag eftersom det har uppfunnit en produkt, plats, certifiering eller partnerskap, innehåller svaret en rekommendationshändelse men också ett faktaproblem. Dessa observationer bör förbli urskiljbara i forskningsregistret snarare än att slås samman till ett positivt resultat.

Hur man mäter omnämnande och rekommendation över tid

Upprepad forskning kan avslöja om ett varumärkes observerade närvaro eller rekommendationsmönster förändras. Men bara om studiens jämförande kärna förblir stabil.

Samma entiteter, scenariologik, målgrupper, marknader, system och klassificeringsregler bör behållas där det är möjligt. Förändringar i panelen kan fortfarande vara nödvändiga när ett företag utvecklas, men de bör dokumenteras och behandlas separat från den fasta delen av studien.

Detta är skillnaden mellan en engångsobservation och LLM-varumärkesövervakning. Övervakning jämför jämförbara forskningsperioder. Det betyder inte att man då och då frågar en chatbot om den gillar ett varumärke.

När en rekommendationsfrekvens förändras bör de första frågorna vara beskrivande:

• Vilka scenarier orsakade förändringen?

• Var rörelsen synlig över flera system eller bara ett?

• Ändrades spontana rekommendationer, framkallade rekommendationer, eller båda?

• Blev varumärket en primär rekommendation eller kom det bara in på fler kortlistor?

• Var rekommendationerna faktamässigt korrekta?

• Vad hände med konkurrentuppsättningen?

• Förblev forskningsförhållandena jämförbara?

Först då kan ett team avgöra om resultatet sannolikt är meningsfullt, kräver ytterligare testning eller helt enkelt återspeglar normal svarsvariation.

En enkel modell för att läsa AI-svar

En användbar sekvens är:

Entitet → scenario → svar → klassificering → bevis

Först, definiera entiteten: officiella varumärkesnamn, varianter, produkter och relationer som möjliggör giltig identifiering.

För det andra, definiera scenariot: vem frågar, vad de behöver, vilket skede av beslutet de befinner sig i och vilka begränsningar som är viktiga.

För det tredje, bevara svaret snarare än bara en poäng eller en ja/nej-etikett.

För det fjärde, klassificera observationen: inget giltigt omnämnande, omnämnande, inkludering på kortlista, rekommendation, primär rekommendation, negativ rekommendation eller tvetydigt resultat.

Slutligen, behåll de bevis som behövs för att granska klassificeringen senare: fullständigt svar, plattform, datum, språk, synliga källor där tillgängliga och eventuella relevanta förbehåll.

Detta tar inte bort tolkningen från processen. Det gör tolkningen granskningsbar. Det förhindrar också att en gynnsam omnämnandefrekvens misstas för bevis på att AI-system aktivt leder relevanta användare till varumärket.

Vad denna distinktion inte betyder

Att skilja omnämnanden från rekommendationer betyder inte att varje omnämnande utan en rekommendation är oviktigt. Igenkänning, källnärvaro, kategoriinkludering och konkurrentsamförekomst kan alla vara användbara observationer när de besvarar en definierad forskningsfråga.

Det betyder inte heller att en rekommendationsfrekvens förutsäger försäljning, preferens eller kundbeteende. AI-genererade svar är inte ett representativt urval av marknadsefterfrågan, och deras formulering kan variera mellan system och tid. En rekommendation är bevis på vad ett valt system genererade i ett valt scenario – varken mer eller mindre.

Viktigast av allt är att en högre rekommendationsfrekvens inte automatiskt är målet. Den relevanta frågan är om varumärket rekommenderas korrekt, i de scenarier där det verkligen hör hemma, till de målgrupper det kan tjäna och med en representation som överensstämmer med verifierad information.

Det är därför omnämnande och rekommendation bör mätas separat. Det ena berättar att varumärket kom in i svaret. Det andra berättar att systemet presenterade det som ett relevant alternativ. Att sammanblanda dem kan skapa ett mer attraktivt mått, men det tar bort den distinktion som behövs för att förstå vad AI-system faktiskt säger.

Om du vill undersöka dessa observationer över definierade scenarier och AI-system, skapa ett Semantio-konto och börja med en baslinjestudie.