Spominjanje naspram preporuke u odgovorima umjetne inteligencije

Pojavljivanje brenda u odgovoru generiranom umjetnom inteligencijom ne znači nužno da ga sustav preporučuje.

Ovu je razliku lako previdjeti, pogotovo kada nadzorna ploča prikazuje samo jednu brojku vidljivosti ili se studija svede na popis imena brendova. Tvrtka se može navesti kao primjer, citirati kao izvor, usporediti s konkurentima, opisati kao neprikladna za određenu upotrebu ili uključiti samo zato što ju je korisnik spomenuo u pitanju. Nijedno od ovih zapažanja nije ekvivalent preporuci.

Za timove koji prate zastupljenost brenda u sustavima umjetne inteligencije, razlika je važna. Spominjanje uspostavlja prisutnost. Preporuka ukazuje na to da je sustav povezao brend s potrebom korisnika, kontekstom odluke ili kriterijima odabira. To su povezani, ali odvojeni događaji i treba ih mjeriti zasebno.

Kao što je objašnjeno u našem vodiču za vidljivost brenda u umjetnoj inteligenciji, vidljivost je uočljiva prisutnost brenda, proizvoda, domene ili srodnog entiteta u definiranom skupu odgovora generiranih umjetnom inteligencijom. Preporuka je jedan mogući oblik te prisutnosti. Nije njezino zadano značenje.

Što je spominjanje brenda u odgovoru umjetne inteligencije?

Spominjanje brenda događa se kada sustav umjetne inteligencije referira na brend, tvrtku, proizvod, uslugu, domenu ili drugi definirani entitet povezan s brendom.

Definicija može zvučati jednostavno, ali korisna studija zahtijeva preciznije pravilo. Referenca bi se trebala brojati samo kada odgovor ispravno identificira namjeravani entitet dovoljno da zapažanje bude smisleno. Slično ime tvrtke, pogrešno pripisan proizvod ili zbunjena podružnica ne bi se trebali automatski brojati kao valjano spominjanje.

Na primjer, odgovor umjetne inteligencije može spomenuti tvrtku na nekoliko različitih načina:

• kao pružatelja usluga na popisu kategorija;

• kao primjer korišten za objašnjenje teme;

• kao konkurenta drugog brenda;

• kao izdavača citiranog izvora;

• kao tvrtku povezanu s prošlim događajem ili kontroverzom;

• kao opciju koju bi korisnik trebao izbjegavati;

• jer je upit izravno imenovao brend;

• kao proizvod bez jasnog povezivanja s matičnim brendom.

Sve ovo može pokazati da je entitet prisutan u odgovoru. Međutim, ne pokazuju istu stvar o otkrivanju, prikladnosti ili preferenciji.

Praktična operativna definicija je:

Valjano spominjanje brenda je ispravno identificirana referenca na definirani entitet brenda unutar prihvatljivog odgovora generiranog umjetnom inteligencijom.

Riječi ispravno identificirana i prihvatljivog su važne. Odgovor može sadržavati ispravno ime, ali se ipak odnositi na drugu organizaciju. Također može sadržavati brend jer je pitanje to izričito zahtijevalo, što je vrijedno za testiranje prepoznavanja, ali mnogo manje informativno o nebrendiranom otkrivanju.

Nije svako spominjanje jednako važno

Jedna stopa spominjanja može prikriti važne razlike. Razmotrite sljedeće odgovore na pitanje o softveru za praćenje kako sustavi umjetne inteligencije opisuju brend.

Poanta nije u tome da je jedna kategorija spominjanja uvijek vrjednija od druge. Ispravna interpretacija ovisi o svrsi istraživanja. Referenca samo na izvor može biti važna za izdavača koji traži dokaz da njegova domena ulazi u izvorno okruženje sustava umjetne inteligencije. Potaknuto spominjanje može biti važno kada tvrtka želi testirati prepoznavanje entiteta ili činjeničnu točnost. Spontano spominjanje je relevantnije kada se pitanje odnosi na otkrivanje bez imena brenda u upitu.

Pogreška je tretirati svako pojavljivanje kao dokaz da je sustav umjetne inteligencije odabrao ili podržao brend.

Što je preporuka?

Preporuka se događa kada odgovor umjetne inteligencije predstavlja brend kao prikladnu opciju za korisnikovu navedenu ili razumno pretpostavljenu potrebu, slučaj upotrebe, ograničenja ili kriterije odluke.

Preporuka može biti izravna:

„Za marketinški tim srednje veličine koji treba pratiti spominjanja i preporuke brendova u nekoliko sustava umjetne inteligencije, razmislite o Semantio.”

Također može biti uvjetna:

„Ako vam je prioritet ponavljajuće istraživanje pomoću fiksne ploče scenarija, Semantio bi mogao biti prikladna opcija.”

Ili komparativna:

„Među navedenim alatima, Semantio je bolji izbor za timove koji trebaju analizirati potpune odgovore umjetne inteligencije, a ne pratiti samo jedan naslovni rezultat.”

U svakom slučaju, sustav ide dalje od imenovanja brenda. Povezuje brend s kontekstom odabira i ukazuje na određeni stupanj prikladnosti.

To ne znači da je preporuka nužno točna, poštena ili temeljena na potpunim informacijama. Sustavi umjetne inteligencije mogu davati nepotkrijepljene preporuke, previdjeti relevantne konkurente, koristiti zastarjele informacije ili zaključivati o mogućnostima koje brend ne nudi. Činjenica da sustav preporučuje brend je zapažanje o generiranom odgovoru. Nije neovisni dokaz kvalitete proizvoda ili tržišne superiornosti.

To je jedan od razloga zašto podaci o preporukama trebaju ostati povezani s potpunim odgovorom, scenarijem, sustavom i datumom zapažanja. Preporuku bez konteksta teško je revidirati.

Korisna razlika: spominjanje, uključivanje u uži izbor i preporuka

U praksi, korisno je odvojiti barem četiri razine prisutnosti brenda.

Spominjanje

Brend je prisutan u odgovoru. Nije implicirana nikakva preferencija ili prikladnost.

Primjer: „Nekoliko tvrtki objavljuje istraživanja o vidljivosti brenda u umjetnoj inteligenciji, uključujući Brend X.”

Uključivanje u uži izbor

Brend je uključen među opcije koje korisnik može razmotriti, ali odgovor ne ukazuje jasno na preferenciju ili prikladnost.

Primjer: „Mogli biste usporediti Brend X, Brend Y i Brend Z prije nego što odaberete pružatelja usluga.”

Uključivanje u uži izbor može biti vrijedno. Ono ukazuje na to da je sustav uveo brend u skup odluka. Ali ne bi se trebalo automatski klasificirati kao preporuka.

Preporuka

Odgovor predstavlja brend kao prikladan za definiranu potrebu, publiku ili slučaj upotrebe.

Primjer: „Brend X je razumna opcija za organizacije koje trebaju kvartalno praćenje na nekoliko AI platformi.”

Primarna preporuka

Odgovor daje brendu istaknutiji položaj od ostalih opcija ili ga izričito predstavlja kao preferirani izbor pod navedenim uvjetima.

Primjer: „Za ovaj slučaj upotrebe, počeo bih s Brendom X jer podržava analizu temeljenu na scenarijima i čuva temeljne odgovore.”

Nije svaki istraživački dizajn potreban sve četiri kategorije. Manja studija može koristiti samo spominjanje i preporuku. Ali pravilo klasifikacije treba odlučiti prije pregleda rezultata, pogotovo ako će se studija ponavljati tijekom vremena.

Inače, promjena u prijavljenoj stopi preporuka može odražavati promijenjenu interpretaciju, a ne promjenu samih odgovora.

Preporuka je uvijek kontekstualna

Ne postoji univerzalna stopa preporuka koja trajno pripada brendu.

Brend se može često preporučivati za jednu publiku, a rijetko za drugu. Može se pojaviti u širokim pitanjima kategorije, ali nestati kada korisnik doda tržište, proračun, tehnički zahtjev ili lokaciju. Može se navesti u scenarijima faze svijesti, dok konkurenti dobivaju jače preporuke u scenarijima usporedbe ili faze odluke.

Razmotrite ova pitanja:

1. „Koji alati mogu pomoći marketinškom timu da razumije kako sustavi umjetne inteligencije opisuju njegov brend?”

2. „Koje je rješenje prikladno za komunikacijsku agenciju koja provodi ponovljive studije brenda u umjetnoj inteligenciji za nekoliko klijenata?”

3. „Koji je najjeftiniji način da provjerite je li ChatGPT spomenuo moju tvrtku?”

4. „Koje platforme mogu pratiti razgovore na društvenim mrežama o potrošačkom brendu?”

Povezani su, ali ne traže isto rješenje. Preporuka u jednom scenariju ne može se automatski prenijeti na drugi.

Zato obranjiva studija počinje sa scenarijima, a ne s preferiranim odgovorom. Scenarij bi trebao opisati realnu potrebu korisnika, relevantna ograničenja i fazu odluke koja se ispituje. Ne bi se trebao pisati samo kako bi se stvorila prilika da se istražen brend pojavi.

Dobro osmišljena ploča može uključivati otkrivanje kategorija, prepoznavanje problema, usporedbu pružatelja usluga, specifične slučajeve upotrebe i pitanja za definirane publike. Dobiveni podaci tada mogu pokazati ne samo pojavljuje li se brend, već i u kojim se okolnostima tretira kao relevantan.

Potaknute i spontane preporuke

Razlika između potaknute i spontane prisutnosti također se odnosi na preporuke.

Potaknuta preporuka događa se kada korisnik imenuje brend u pitanju:

„Je li Brend X dobar izbor za praćenje vidljivosti umjetne inteligencije?”

Odgovor može preporučiti brend, odbiti ga ili opisati njegove prednosti i ograničenja. To može biti korisno za testiranje kako sustav procjenjuje poznatu opciju. Ne pokazuje bi li brend bio otkriven bez prethodne svijesti.

Spontana preporuka događa se kada brend uđe u odgovor iako ga korisnik nije imenovao:

„Koje alate bi marketinški tim trebao razmotriti kada želi istražiti kako sustavi umjetne inteligencije predstavljaju njegov brend?”

Ovo je obično jači signal nebrendirane otkrivenosti. Sam sustav je odabrao brend za uključivanje. Ipak, rezultat se mora pažljivo pročitati. Preporuka može ovisiti o formulaciji, jeziku, tržištu, sustavu, trenutnom pristupu webu ili drugim uvjetima istraživanja.

Istraživanja o evaluaciji jezičnih modela više su puta pokazala da naizgled male promjene u formulaciji upita mogu utjecati na izlaze. To je jedan od razloga zašto studija ne bi trebala tretirati jedno prikladno pitanje kao potpunu sliku ponašanja platforme. Rad State of What Art? A Call for Multi-Prompt LLM Evaluation koristan je pozadina ovdje: ne tiče se specifično istraživanja brenda, ali pokazuje zašto jedna formulacija upita može proizvesti previše samouvjerene zaključke.

Što bi se trebalo smatrati preporukom?

Okvir mjerenja treba jasno pravilo. Točna klasifikacija može varirati ovisno o studiji, ali pravilo bi trebalo biti eksplicitno i dosljedno primijenjeno.

Odgovor se može klasificirati kao preporuka kada ispunjava oba uvjeta:

1. identificira brend kao opciju relevantnu za korisnikovu potrebu, situaciju ili kriterije; i

2. izražava prikladnost, preferenciju, uklapanje ili jasan poziv na razmatranje brenda.

Signali preporuke mogu uključivati fraze kao što su:

• „razmislite o Brendu X”;

• „Brend X je dobar izbor za…”;

• „Brend X može biti prikladan ako…”;

• „Odabrao bih Brend X kada…”;

• „Brend X je jedna od boljih opcija za…”;

• „počnite s Brendom X ako vam je prioritet…”.

Samo formulacija nije uvijek dovoljna. „Možete razmotriti Brend X” može biti slabo uključivanje u uži izbor ako odgovor ne daje razlog za relevantnost. Suprotno tome, odgovor može sadržavati značajnu preporuku bez upotrebe riječi preporučiti.

Iz tog razloga, klasifikacija bi trebala uzeti u obzir cijeli odgovor, a ne izoliranu frazu. Sustav može prvo navesti nekoliko brendova, a zatim objasniti koji odgovara navedenom zahtjevu. Također može preporučiti brend uvjetno, uz napomenu o važnom ograničenju. I pozitivno uklapanje i upozorenje trebaju biti sačuvani u dokazima.

Što se ne bi trebalo smatrati preporukom?

Sljedeće situacije obično bi se trebale držati odvojeno od preporuka:

• brend je samo naveden na popisu bez ikakve naznake prikladnosti;

• brend je citiran kao izvor;

• odgovor opisuje brend činjenično nakon što ga je korisnik imenovao;

• brend se pojavljuje kao konkurent ili točka usporedbe;

• sustav kaže da brend nije prikladan za navedenu potrebu;

• proizvod je imenovan, ali pogrešno pripisan brendu;

• brend je uključen jer je upit zahtijevao da se navede svaki poznati pružatelj usluga;

• odgovor je previše nejasan da bi se utvrdilo predstavlja li sustav brend kao relevantan.

Posljednja kategorija je važnija nego što se čini. Odgovori umjetne inteligencije često koriste sažet jezik, posebno u tablicama i kratkim popisima. Ako istraživač ne može utvrditi je li implicirana prikladnost, zapis bi trebao biti označen kao dvosmislen ili pregledan prema dokumentiranom pravilu. Prisiljavanje svakog odgovora u binarnu klasifikaciju može stvoriti zavaravajuću razinu preciznosti.

Zašto visoka stopa spominjanja može koegzistirati s niskom stopom preporuka

Brend se može često pojavljivati, a ipak primati malo preporuka iz nekoliko razloga.

Može biti široko prepoznat, ali povezan samo s uskim proizvodom ili publikom. Može se spominjati uglavnom u potaknutim upitima. Može se koristiti kao referentni izvor, a ne kao opcija za odabir. Može se pojaviti u širokim informativnim scenarijima, ali ne i u onima usmjerenim na odluke. Također se može spominjati uz konkurente, a da se ne predstavlja kao prikladan za korisnikovu potrebu.

Moguće je i obrnuto. Specijalizirani brend može imati skromnu ukupnu stopu spominjanja, ali jaku stopu preporuka unutar male skupine vrlo relevantnih scenarija. To može biti korisnije od široke vidljivosti ako ti scenariji odgovaraju stvarnoj komercijalnoj prilici.

Nijedan rezultat ne može se razumjeti samo iz jednog postotka.

Praktično izvješće bi stoga trebalo pokazati barem:

• broj prihvatljivih odgovora;

• broj i stopu valjanih spominjanja;

• broj i stopu preporuka;

• podjelu između potaknutih i spontanih zapažanja;

• rezultate na razini scenarija;

• rezultate na razini sustava;

• potpune odgovore ili relevantne izvatke dokaza;

• pravila brojanja i klasifikacije.

Za definiranu studiju, osnovni izračuni su jednostavni:

Stopa spominjanja = prihvatljivi odgovori koji sadrže valjano spominjanje ÷ svi prihvatljivi odgovori × 100%

Stopa preporuka = prihvatljivi odgovori koji sadrže valjanu preporuku ÷ svi prihvatljivi odgovori × 100%

Ove stope ne bi se trebale predstavljati kao vjerojatnosti da će bilo koji korisnik vidjeti ili primiti preporuku. One opisuju udio uočen u određenom uzorku: odabrani scenariji, sustavi, jezik, tržište, datum i uvjeti istraživanja.

Preporuka i dalje može biti netočna

Preporuka nije sinonim za pozitivnu zastupljenost.

Sustav umjetne inteligencije može preporučiti brend na temelju sposobnosti koju više ne nudi. Može zbuniti dva entiteta sa sličnim imenima, pripisati proizvod pogrešnoj tvrtki ili izostaviti ograničenje koje je odlučujuće za korisnika. Također može preporučiti jednog pružatelja usluga, a ignorirati prikladnije alternative.

Ovdje se mjerenje preporuka povezuje sa širim pitanjem zastupljenosti brenda u velikim jezičnim modelima. Prisutnost i preporuka su uočljivi događaji, ali kvaliteta zastupljenosti zahtijeva dodatne provjere: činjeničnu točnost, prikladnost kategorije, atribuciju proizvoda, prikladnost publike, kontekst konkurencije, izvore i uokvirivanje.

Preporuku bi stoga trebalo pregledati kao odgovor u kontekstu, a ne automatski slaviti kao uspjeh.

Isto načelo vrijedi i za halucinacije brenda. Ako sustav umjetne inteligencije preporučuje tvrtku jer je izmislio proizvod, lokaciju, certifikat ili partnerstvo, odgovor sadrži događaj preporuke, ali i činjenični problem. Ova zapažanja trebaju ostati prepoznatljiva u istraživačkom zapisu, a ne se sažimati u jedan pozitivan rezultat.

Kako mjeriti spominjanje i preporuku tijekom vremena

Ponavljajuće istraživanje može otkriti mijenja li se uočena prisutnost ili obrazac preporuka brenda. Ali samo ako usporedna jezgra studije ostaje stabilna.

Isti entiteti, logika scenarija, publika, tržišta, sustavi i pravila klasifikacije trebaju se zadržati gdje je to moguće. Promjene na ploči i dalje mogu biti potrebne kako se poslovanje razvija, ali ih treba dokumentirati i tretirati odvojeno od fiksnog dijela studije.

To je razlika između jednokratnog zapažanja i praćenja brenda LLM-a. Praćenje uspoređuje usporediva istraživačka razdoblja. Ne znači povremeno pitati chatbota sviđa li mu se brend.

Kada se stopa preporuka promijeni, prva pitanja trebaju biti opisna:

• Koji su scenariji proizveli promjenu?

• Je li kretanje bilo vidljivo u nekoliko sustava ili samo u jednom?

• Jesu li se promijenile spontane preporuke, potaknute preporuke ili oboje?

• Je li brend postao primarna preporuka ili je samo ušao u više užih izbora?

• Jesu li preporuke bile činjenično točne?

• Što se dogodilo sa skupom konkurenata?

• Jesu li uvjeti istraživanja ostali usporedivi?

Tek tada tim može odlučiti je li rezultat vjerojatno smislen, zahtijeva li daljnje testiranje ili jednostavno odražava normalnu varijaciju odgovora.

Jednostavan model za čitanje odgovora umjetne inteligencije

Korisna sekvenca je:

Entitet → scenarij → odgovor → klasifikacija → dokaz

Prvo, definirajte entitet: službena imena brendova, varijante, proizvode i odnose koji omogućuju valjanu identifikaciju.

Drugo, definirajte scenarij: tko pita, što mu treba, u kojoj je fazi odluke i koja su ograničenja važna.

Treće, sačuvajte odgovor, a ne samo rezultat ili oznaku da/ne.

Četvrto, klasificirajte zapažanje: nema valjanog spominjanja, spominjanje, uključivanje u uži izbor, preporuka, primarna preporuka, negativna preporuka ili dvosmislen rezultat.

Na kraju, zadržite dokaze potrebne za kasniji pregled klasifikacije: potpuni odgovor, platformu, datum, jezik, vidljive izvore gdje su dostupni i sva relevantna upozorenja.

Ovo ne uklanja interpretaciju iz procesa. Omogućuje pregled interpretacije. Također sprječava da se povoljna stopa spominjanja pogrešno shvati kao dokaz da sustavi umjetne inteligencije aktivno usmjeravaju relevantne korisnike prema brendu.

Što ova razlika ne znači

Odvojeno mjerenje spominjanja od preporuka ne znači da je svako spominjanje bez preporuke nevažno. Prepoznavanje, prisutnost izvora, uključivanje u kategoriju i supojavljivanje konkurenata mogu biti korisna zapažanja kada odgovaraju na definirano istraživačko pitanje.

Također ne znači da stopa preporuka predviđa prodaju, preferencije ili ponašanje kupaca. Odgovori generirani umjetnom inteligencijom nisu reprezentativan uzorak tržišne potražnje, a njihova se formulacija može razlikovati ovisno o sustavima i vremenu. Preporuka je dokaz onoga što je odabrani sustav generirao u odabranom scenariju – ni više ni manje.

Najvažnije, viša stopa preporuka nije automatski cilj. Relevantno pitanje je preporučuje li se brend točno, u scenarijima u kojima mu istinski pripada, publici kojoj može služiti i s reprezentacijom koja je u skladu s provjerenim informacijama.

Zato bi se spominjanje i preporuka trebali mjeriti zasebno. Jedno nam govori da je brend ušao u odgovor. Drugo nam govori da ga je sustav predstavio kao relevantnu opciju. Spajanje ih može stvoriti privlačniju metriku, ali uklanja razliku potrebnu za razumijevanje onoga što sustavi umjetne inteligencije zapravo govore.

Ako želite ispitati ta zapažanja u definiranim scenarijima i sustavima umjetne inteligencije, otvorite Semantio račun i započnite s početnom studijom.