Omemba proti priporočilu v odgovorih umetne inteligence

Pojav blagovne znamke v odgovoru, ki ga je ustvarila umetna inteligenca, ne pomeni nujno, da jo sistem priporoča.

To razliko je enostavno spregledati, še posebej, ko nadzorna plošča poroča o eni sami številki vidnosti ali je študija zreducirana na seznam imen blagovnih znamk. Podjetje je lahko imenovano kot primer, navedeno kot vir, primerjano s konkurenti, opisano kot neprimerno za določen primer uporabe ali vključeno le zato, ker ga je uporabnik omenil v vprašanju. Nobeno od teh opažanj ni enakovredno priporočilu.

Za ekipe, ki spremljajo predstavitev blagovne znamke v sistemih umetne inteligence, je razlika pomembna. Omemba vzpostavi prisotnost. Priporočilo kaže, da je sistem povezal blagovno znamko s potrebami uporabnika, kontekstom odločanja ali kriteriji izbire. To so povezani, a ločeni dogodki, in meriti jih je treba ločeno.

Kot je pojasnjeno v našem vodniku o vidnosti blagovne znamke v umetni inteligenci, je vidnost opazna prisotnost blagovne znamke, izdelka, domene ali sorodne entitete v določenem naboru odgovorov, ki jih je ustvarila umetna inteligenca. Priporočilo je ena možna oblika te prisotnosti. Ni njen privzeti pomen.

Kaj je omemba blagovne znamke v odgovoru umetne inteligence?

Omemba blagovne znamke se pojavi, ko sistem umetne inteligence omenja blagovno znamko, podjetje, izdelek, storitev, domeno ali drugo določeno entiteto, povezano z blagovno znamko.

Definicija se morda zdi preprosta, vendar uporabna študija potrebuje natančnejše pravilo. Referenca bi morala šteti le, če odgovor pravilno identificira želeno entiteto, da je opazovanje smiselno. Podobno ime podjetja, napačno pripisan izdelek ali zmedena podružnica se ne bi smeli samodejno šteti za veljavno omembo.

Na primer, odgovor umetne inteligence lahko podjetje omenja na več različnih načinov:

• kot ponudnika na seznamu kategorij;

• kot primer, uporabljen za razlago teme;

• kot konkurenta druge blagovne znamke;

• kot izdajatelja navedenega vira;

• kot podjetje, povezano s preteklim dogodkom ali polemiko;

• kot možnost, ki se ji mora uporabnik izogniti;

• ker je poziv neposredno poimenoval blagovno znamko;

• kot izdelek, ne da bi ga jasno povezal z njegovo matično blagovno znamko.

Vse to lahko kaže, da je entiteta prisotna v odgovoru. Vendar pa ne kažejo istega o odkritosti, primernosti ali preferenci.

Praktična operativna definicija je:

Veljavna omemba blagovne znamke je pravilno identificirana referenca na določeno entiteto blagovne znamke znotraj ustreznega odgovora, ki ga je ustvarila umetna inteligenca.

Besedi pravilno identificirana in ustreznega sta pomembni. Odgovor lahko vsebuje pravo ime, vendar se še vedno nanaša na drugo organizacijo. Lahko vsebuje tudi blagovno znamko, ker je vprašanje to izrecno zahtevalo, kar je dragoceno za testiranje prepoznavnosti, vendar veliko manj informativno o neoznačeni odkritosti.

Vsaka omemba nima enakega pomena

Ena sama stopnja omemb lahko prikrije pomembne razlike. Razmislite o naslednjih odgovorih na vprašanje o programski opremi za spremljanje, kako sistemi umetne inteligence opisujejo blagovno znamko.

Bistvo ni v tem, da je ena kategorija omembe vedno bolj dragocena od druge. Pravilna interpretacija je odvisna od namena raziskave. Referenca samo na vir je lahko pomembna za založnika, ki išče dokaze, da njegova domena vstopa v virno okolje sistema umetne inteligence. Spodbujena omemba je lahko pomembna, ko podjetje želi preizkusiti prepoznavanje entitet ali dejansko natančnost. Spontana omemba je bolj relevantna, ko se vprašanje nanaša na odkrivanje brez imena blagovne znamke v pozivu.

Napaka je obravnavanje vsakega pojava kot dokaza, da je sistem umetne inteligence izbral ali podprl blagovno znamko.

Kaj je priporočilo?

Priporočilo se pojavi, ko odgovor umetne inteligence predstavi blagovno znamko kot primerno možnost za uporabnikovo navedeno ali razumno sklepano potrebo, primer uporabe, omejitve ali kriterije odločanja.

Priporočilo je lahko neposredno:

»Za srednje veliko marketinško ekipo, ki mora spremljati omembe in priporočila blagovnih znamk v več sistemih umetne inteligence, razmislite o Semantiu.«

Lahko je tudi pogojno:

»Če je vaša prioriteta ponavljajoče se raziskovanje z uporabo fiksne scenarijske plošče, je Semantio morda primerna možnost.«

Ali primerjalno:

»Med navedenimi orodji je Semantio bolj primeren za ekipe, ki morajo analizirati celotne odgovore umetne inteligence, namesto da bi spremljale en sam glavni rezultat.«

V vsakem primeru sistem presega poimenovanje blagovne znamke. Povezuje blagovno znamko s kontekstom izbire in kaže določeno stopnjo primernosti.

To ne pomeni, da je priporočilo nujno pravilno, pošteno ali temelji na popolnih informacijah. Sistemi umetne inteligence lahko dajejo nepodprta priporočila, spregledajo relevantne konkurente, uporabljajo zastarele informacije ali sklepajo o zmožnostih, ki jih blagovna znamka ne ponuja. Dejstvo, da sistem priporoča blagovno znamko, je opazovanje o ustvarjenem odgovoru. Ni neodvisen dokaz kakovosti izdelka ali tržne superiornosti.

To je eden od razlogov, zakaj bi morali podatki o priporočilih ostati povezani s celotnim odgovorom, scenarijem, sistemom in datumom opazovanja. Priporočilo brez konteksta je težko revidirati.

Uporabna razlika: omemba, vključitev v ožji izbor in priporočilo

V praksi pomaga ločiti vsaj štiri ravni prisotnosti blagovne znamke.

Omemba

Blagovna znamka je prisotna v odgovoru. Ni implicirane preference ali primernosti.

Primer: »Več podjetij objavlja raziskave o vidnosti blagovne znamke v umetni inteligenci, vključno z Blagovno znamko X.«

Vključitev v ožji izbor

Blagovna znamka je vključena med možnosti, ki jih lahko uporabnik upošteva, vendar odgovor ne kaže jasno preference ali ustreznosti.

Primer: »Preden izberete ponudnika, lahko primerjate Blagovno znamko X, Blagovno znamko Y in Blagovno znamko Z.«

Vključitev v ožji izbor je lahko dragocena. Kaže, da je sistem blagovno znamko vključil v nabor odločitev. Vendar se ne bi smela samodejno razvrstiti kot priporočilo.

Priporočilo

Odgovor predstavlja blagovno znamko kot primerno za določeno potrebo, občinstvo ali primer uporabe.

Primer: »Blagovna znamka X je razumna možnost za organizacije, ki potrebujejo četrtletno spremljanje na več platformah umetne inteligence.«

Primarno priporočilo

Odgovor daje blagovni znamki bolj prominenten položaj kot drugim možnostim ali jo izrecno predstavlja kot prednostno izbiro pod navedenimi pogoji.

Primer: »Za ta primer uporabe bi začel z Blagovno znamko X, ker podpira analizo na podlagi scenarijev in ohranja osnovne odgovore.«

Vsak raziskovalni načrt ne potrebuje vseh štirih kategorij. Manjša študija lahko uporablja le omembo in priporočilo. Vendar je treba pravilo razvrščanja določiti, preden se pregledajo rezultati, še posebej, če se bo študija ponavljala skozi čas.

V nasprotnem primeru lahko sprememba v poročani stopnji priporočil odraža spremenjeno interpretacijo in ne spremembo v samih odgovorih.

Priporočilo je vedno kontekstualno

Ne obstaja univerzalna stopnja priporočil, ki bi trajno pripadala blagovni znamki.

Blagovna znamka je lahko pogosto priporočena za eno občinstvo in redko za drugo. Lahko se pojavi v širokih vprašanjih kategorij, vendar izgine, ko uporabnik doda trg, proračun, tehnično zahtevo ali lokacijo. Lahko je imenovana v scenarijih faze ozaveščanja, medtem ko konkurenti prejmejo močnejša priporočila v scenarijih primerjave ali faze odločanja.

Razmislite o teh vprašanjih:

1. »Katera orodja lahko marketinški ekipi pomagajo razumeti, kako sistemi umetne inteligence opisujejo njeno blagovno znamko?«

2. »Katera rešitev je primerna za komunikacijsko agencijo, ki izvaja ponovljive študije blagovnih znamk umetne inteligence za več strank?«

3. »Kateri je najcenejši način za preverjanje, ali je ChatGPT omenil moje podjetje?«

4. »Katere platforme lahko spremljajo pogovore na družbenih medijih o potrošniški blagovni znamki?«

Povezani so, vendar ne zahtevajo iste rešitve. Priporočila v enem scenariju ni mogoče samodejno prenesti v drugega.

Zato se obrambna študija začne s scenariji, ne z želenim odgovorom. Scenarij bi moral opisati realistično potrebo uporabnika, relevantne omejitve in fazo odločanja, ki se preučuje. Ne bi smel biti napisan zgolj zato, da bi ustvaril priložnost za pojav raziskane blagovne znamke.

Dobro zasnovana plošča lahko vključuje odkrivanje kategorij, prepoznavanje problemov, primerjavo ponudnikov, specifične primere uporabe in vprašanja za določeno občinstvo. Nastali podatki lahko nato pokažejo ne le, ali se blagovna znamka pojavi, ampak tudi v katerih okoliščinah se obravnava kot relevantna.

Spodbujena in spontana priporočila

Razlika med spodbujeno in spontano prisotnostjo velja tudi za priporočila.

Spodbujeno priporočilo se zgodi, ko uporabnik v vprašanju poimenuje blagovno znamko:

»Je Blagovna znamka X dobra izbira za spremljanje vidnosti umetne inteligence?«

Odgovor lahko priporoča blagovno znamko, jo zavrne ali opiše njene prednosti in omejitve. To je lahko koristno za testiranje, kako sistem ocenjuje znano možnost. Ne kaže pa, ali bi bila blagovna znamka odkrita brez predhodne ozaveščenosti.

Spontano priporočilo se zgodi, ko blagovna znamka vstopi v odgovor, čeprav je uporabnik ni poimenoval:

»Katera orodja naj marketinška ekipa upošteva, ko želi raziskati, kako sistemi umetne inteligence predstavljajo njeno blagovno znamko?«

To je običajno močnejši signal neoznačene odkritosti. Sistem sam je izbral blagovno znamko za vključitev. Kljub temu je treba rezultat skrbno prebrati. Priporočilo je lahko odvisno od besedila, jezika, trga, sistema, trenutnega spletnega dostopa ali drugih raziskovalnih pogojev.

Raziskave o vrednotenju jezikovnih modelov so večkrat pokazale, da lahko navidezno majhne spremembe v formulaciji poziva vplivajo na izhode. To je eden od razlogov, zakaj študija ne bi smela obravnavati enega samega priročnega vprašanja kot popolne slike obnašanja platforme. Dokument State of What Art? A Call for Multi-Prompt LLM Evaluation je tukaj koristen: ne zadeva posebej raziskovanja blagovnih znamk, vendar dokazuje, zakaj lahko ena formulacija poziva povzroči preveč samozavestne zaključke.

Kaj naj šteje kot priporočilo?

Okvir merjenja potrebuje jasno pravilo. Natančna klasifikacija se lahko razlikuje glede na študijo, vendar mora biti pravilo eksplicitno in dosledno uporabljeno.

Odgovor se lahko razvrsti kot priporočilo, ko izpolnjuje oba pogoja:

1. identificira blagovno znamko kot možnost, relevantno za uporabnikovo potrebo, situacijo ali kriterije; in

2. izraža primernost, preferenco, ustreznost ali jasno povabilo k upoštevanju blagovne znamke.

Signali priporočila lahko vključujejo fraze, kot so:

• »razmislite o Blagovni znamki X«;

• »Blagovna znamka X je dobra izbira za…«;

• »Blagovna znamka X je lahko primerna, če…«;

• »Izbral bi Blagovno znamko X, ko…«;

• »Blagovna znamka X je ena boljših možnosti za…«;

• »začnite z Blagovno znamko X, če je vaša prioriteta…«.

Samo besedilo ni vedno dovolj. »Lahko razmislite o Blagovni znamki X« je lahko šibka vključitev v ožji izbor, če odgovor ne navaja razloga za relevantnost. Nasprotno, odgovor lahko vsebuje vsebinsko priporočilo, ne da bi uporabil besedo priporočam.

Zato bi morala klasifikacija upoštevati celoten odgovor in ne izolirane fraze. Sistem lahko najprej navede več blagovnih znamk, nato pa pojasni, katera ustreza določeni zahtevi. Lahko tudi priporoči blagovno znamko pogojno, pri tem pa opozori na pomembno omejitev. Tako pozitivno ujemanje kot opozorilo bi morala biti ohranjena v dokazih.

Kaj ne bi smelo šteti kot priporočilo?

Naslednje situacije bi morale biti običajno ločene od priporočil:

• blagovna znamka je zgolj imenovana na seznamu brez kakršne koli indikacije ustreznosti;

• blagovna znamka je navedena kot vir;

• odgovor dejansko opisuje blagovno znamko, potem ko jo je uporabnik poimenoval;

• blagovna znamka se pojavi kot konkurent ali točka primerjave;

• sistem pravi, da blagovna znamka ni primerna za navedeno potrebo;

• izdelek je poimenovan, vendar napačno pripisan blagovni znamki;

• blagovna znamka je vključena, ker je poziv zahteval, da se navede vsak znan ponudnik;

• odgovor je preveč nejasen, da bi ugotovili, ali sistem blagovno znamko predstavlja kot relevantno.

Zadnja kategorija je pomembnejša, kot se zdi. Odgovori umetne inteligence pogosto uporabljajo stisnjen jezik, zlasti v tabelah in kratkih seznamih. Če raziskovalec ne more ugotoviti, ali je implicirana primernost, je treba zapis označiti kot dvoumen ali pregledati po dokumentiranem pravilu. Siljenje vsakega odgovora v binarno klasifikacijo lahko ustvari zavajajočo raven natančnosti.

Zakaj lahko visoka stopnja omemb sobiva z nizko stopnjo priporočil

Blagovna znamka se lahko pogosto pojavi, vendar prejme malo priporočil iz več razlogov.

Lahko je široko prepoznavna, vendar povezana le z ozkim izdelkom ali občinstvom. Lahko je omenjena predvsem v spodbujenih poizvedbah. Lahko se uporablja kot referenčni vir in ne kot možnost izbire. Lahko se pojavi v širokih informativnih scenarijih, vendar ne v scenarijih, usmerjenih v odločanje. Lahko je tudi omenjena skupaj s konkurenti, ne da bi bila predstavljena kot primerna za uporabnikovo potrebo.

Možno je tudi obratno. Specializirana blagovna znamka ima lahko skromno splošno stopnjo omemb, vendar močno stopnjo priporočil znotraj majhne skupine zelo relevantnih scenarijev. To je lahko bolj uporabno kot široka vidnost, če ti scenariji ustrezajo resnični komercialni priložnosti.

Nobenega rezultata ni mogoče razumeti samo iz enega odstotka.

Praktično poročilo bi zato moralo prikazati vsaj:

• število ustreznih odgovorov;

• število in stopnjo veljavnih omemb;

• število in stopnjo priporočil;

• razdelitev med spodbujenimi in spontanimi opazovanji;

• rezultate na ravni scenarija;

• rezultate na ravni sistema;

• celotne odgovore ali relevantne izvlečke dokazov;

• pravila štetja in klasifikacije.

Za določeno študijo so osnovni izračuni preprosti:

Stopnja omemb = ustrezni odgovori, ki vsebujejo veljavno omembo ÷ vsi ustrezni odgovori × 100%

Stopnja priporočil = ustrezni odgovori, ki vsebujejo veljavno priporočilo ÷ vsi ustrezni odgovori × 100%

Te stopnje ne bi smele biti predstavljene kot verjetnosti, da bo kateri koli uporabnik videl ali prejel priporočilo. Opisujejo delež, opažen v določenem vzorcu: izbrani scenariji, sistemi, jezik, trg, datum in raziskovalni pogoji.

Priporočilo je lahko še vedno netočno

Priporočilo ni sinonim za pozitivno predstavitev.

Sistem umetne inteligence lahko priporoči blagovno znamko na podlagi zmožnosti, ki je ne ponuja več. Lahko zamenja dve entiteti s podobnimi imeni, pripiše izdelek napačnemu podjetju ali izpusti omejitev, ki je odločilna za uporabnika. Lahko tudi priporoči enega ponudnika, medtem ko ignorira bolje ustrezne alternative.

Tu se merjenje priporočil povezuje s širšim vprašanjem predstavitve blagovne znamke v velikih jezikovnih modelih. Prisotnost in priporočilo sta opazna dogodka, vendar kakovost predstavitve zahteva dodatne preglede: dejansko natančnost, ustreznost kategorije, pripis izdelka, ustreznost občinstva, kontekst konkurentov, vire in uokvirjanje.

Priporočilo bi zato morali pregledati kot odgovor v kontekstu, ne pa ga samodejno slaviti kot uspeh.

Enako načelo velja za halucinacije blagovnih znamk. Če sistem umetne inteligence priporoča podjetje, ker je izumil izdelek, lokacijo, certifikat ali partnerstvo, odgovor vsebuje dogodek priporočila, pa tudi dejanski problem. Ta opažanja bi morala ostati ločljiva v raziskovalnem zapisu, namesto da bi se združila v en pozitiven rezultat.

Kako meriti omembo in priporočilo skozi čas

Ponavljajoče se raziskave lahko razkrijejo, ali se opazovana prisotnost ali vzorec priporočil blagovne znamke spreminja. Vendar le, če primerjalno jedro študije ostane stabilno.

Iste entitete, scenarijska logika, občinstva, trgi, sistemi in pravila klasifikacije bi morali biti ohranjeni, kjer je to mogoče. Spremembe na plošči so morda še vedno potrebne, ko se podjetje razvija, vendar bi morale biti dokumentirane in obravnavane ločeno od fiksnega dela študije.

To je razlika med enkratnim opazovanjem in spremljanjem blagovnih znamk LLM. Spremljanje primerja primerljiva raziskovalna obdobja. Ne pomeni občasnega spraševanja klepetalnega robota, ali mu je blagovna znamka všeč.

Ko se stopnja priporočil spremeni, bi morala biti prva vprašanja opisna:

• Kateri scenariji so povzročili spremembo?

• Je bilo gibanje vidno v več sistemih ali le v enem?

• Ali so se spremenila spontana priporočila, spodbujena priporočila ali oboje?

• Ali je blagovna znamka postala primarno priporočilo ali je zgolj vstopila v več ožjih izborov?

• Ali so bila priporočila dejansko točna?

• Kaj se je zgodilo s konkurenčnim naborom?

• Ali so raziskovalni pogoji ostali primerljivi?

Šele nato se lahko ekipa odloči, ali je rezultat verjetno smiseln, zahteva nadaljnje testiranje ali preprosto odraža normalno variacijo odgovorov.

Preprost model za branje odgovorov umetne inteligence

Uporabno zaporedje je:

Entiteta → scenarij → odgovor → klasifikacija → dokaz

Najprej določite entiteto: uradna imena blagovnih znamk, različice, izdelke in odnose, ki omogočajo veljavno identifikacijo.

Drugič, določite scenarij: kdo sprašuje, kaj potrebuje, v kateri fazi odločitve je in katere omejitve so pomembne.

Tretjič, ohranite odgovor in ne le ocene ali oznake da/ne.

Četrtič, razvrstite opazovanje: brez veljavne omembe, omemba, vključitev v ožji izbor, priporočilo, primarno priporočilo, negativno priporočilo ali dvoumen rezultat.

Končno, ohranite dokaze, potrebne za kasnejši pregled klasifikacije: celoten odgovor, platforma, datum, jezik, vidni viri, kjer so na voljo, in morebitna relevantna opozorila.

To ne odstrani interpretacije iz procesa. Omogoča pregled interpretacije. Prav tako preprečuje, da bi se ugodna stopnja omemb zamenjala za dokaz, da sistemi umetne inteligence aktivno usmerjajo relevantne uporabnike k blagovni znamki.

Kaj ta razlika ne pomeni

Ločevanje omemb od priporočil ne pomeni, da je vsaka omemba brez priporočila nepomembna. Prepoznavanje, prisotnost v virih, vključitev v kategorijo in sočasnost konkurentov so lahko koristna opažanja, ko odgovarjajo na določeno raziskovalno vprašanje.

Prav tako ne pomeni, da stopnja priporočil napoveduje prodajo, preference ali vedenje strank. Odgovori, ki jih ustvari umetna inteligenca, niso reprezentativen vzorec tržnega povpraševanja, in njihovo besedilo se lahko razlikuje med sistemi in časom. Priporočilo je dokaz, kaj je izbrani sistem ustvaril v izbranem scenariju – nič več in nič manj.

Najpomembneje je, da višja stopnja priporočil ni samodejno cilj. Relevantno vprašanje je, ali je blagovna znamka priporočena natančno, v scenarijih, kjer resnično spada, občinstvu, ki mu lahko služi, in s predstavitvijo, ki je skladna s preverjenimi informacijami.

Zato bi morali omembo in priporočilo meriti ločeno. Eno nam pove, da je blagovna znamka vstopila v odgovor. Drugo nam pove, da jo je sistem predstavil kot relevantno možnost. Združevanje obeh lahko ustvari privlačnejšo metriko, vendar odstrani razliko, potrebno za razumevanje, kaj sistemi umetne inteligence dejansko govorijo.

Če želite preučiti ta opažanja v določenih scenarijih in sistemih umetne inteligence, ustvarite račun Semantio in začnite z osnovno študijo.