Mainimine vs. soovitus tehisintellekti vastustes

Brändi ilmumine tehisintellekti loodud vastuses ei tähenda tingimata, et süsteem seda soovitab.

Seda erinevust on lihtne kahe silma vahele jätta, eriti kui armatuurlaud näitab ühte nähtavuse numbrit või uuring on taandatud brändinimede loetelule. Ettevõtet võidakse nimetada näitena, tsiteerida allikana, võrrelda konkurentidega, kirjeldada konkreetse kasutusjuhtumi jaoks sobimatuna või lisada ainult seetõttu, et kasutaja mainis seda küsimuses. Ükski neist tähelepanekutest ei ole samaväärne soovitusega.

Meeskondadele, kes jälgivad brändi esindatust tehisintellekti süsteemides, on see erinevus oluline. Mainimine loob kohaloleku. Soovitus näitab, et süsteem on ühendanud brändi kasutaja vajaduse, otsustuskonteksti või valikukriteeriumidega. Need on seotud, kuid eraldiseisvad sündmused ja neid tuleks mõõta eraldi.

Nagu selgitatud meie juhendis tehisintellekti brändi nähtavuse kohta, on nähtavus brändi, toote, domeeni või seotud üksuse jälgitav kohalolek määratletud tehisintellekti loodud vastuste kogumis. Soovitus on üks võimalik selle kohaloleku vorm. See ei ole selle vaikimisi tähendus.

Mis on brändi mainimine tehisintellekti vastuses?

Brändi mainimine toimub siis, kui tehisintellekti süsteem viitab brändile, ettevõttele, tootele, teenusele, domeenile või muule brändiga seotud määratletud üksusele.

Definitsioon võib tunduda lihtne, kuid kasulik uuring vajab täpsemat reeglit. Viide peaks lugema ainult siis, kui vastus identifitseerib kavandatud üksuse piisavalt täpselt, et tähelepanek oleks sisukas. Sarnast ettevõtte nime, valesti omistatud toodet või segadusse aetud tütarettevõtet ei tohiks automaatselt lugeda kehtivaks mainimiseks.

Näiteks võib tehisintellekti vastus mainida ettevõtet mitmel erineval viisil:

• kategooria nimekirjas pakkujana;

• teema selgitamiseks kasutatud näitena;

• teise brändi konkurendina;

• tsiteeritud allika avaldajana;

• ettevõttena, mis on seotud mineviku sündmuse või vastuoluga;

• valikuna, mida kasutaja peaks vältima;

• kuna viip nimetas brändi otse;

• tootena, ilma seda selgelt oma emaettevõttega sidumata.

Kõik need võivad näidata, et üksus on vastuses olemas. Need ei näita aga sama asja avastatavuse, sobivuse või eelistuse kohta.

Praktiline operatiivdefinitsioon on:

Kehtiv brändi mainimine on õigesti identifitseeritud viide määratletud brändi üksusele sobivas tehisintellekti loodud vastuses.

Sõnad õigesti identifitseeritud ja sobiv on olulised. Vastus võib sisaldada õiget nime, kuid viidata siiski teisele organisatsioonile. See võib sisaldada ka brändi, sest küsimus seda selgesõnaliselt nõudis, mis on väärtuslik äratundmise testimiseks, kuid palju vähem informatiivne brändita avastamise kohta.

Igal mainimisel ei ole sama tähendust

Üksik mainimismäär võib varjata olulisi erinevusi. Kaaluge järgmisi vastuseid küsimusele tarkvara kohta, mis jälgib, kuidas tehisintellekti süsteemid brändi kirjeldavad.

Asi ei ole selles, et üks mainimiskategooria oleks alati väärtuslikum kui teine. Õige tõlgendus sõltub uurimise eesmärgist. Ainult allikale viitamine võib olla oluline kirjastajale, kes otsib tõendeid, et tema domeen siseneb tehisintellekti süsteemi allikakeskkonda. Viipaga mainimine võib olla oluline, kui ettevõte soovib testida üksuse äratundmist või faktilist täpsust. Spontaanne mainimine on asjakohasem, kui küsimus puudutab avastamist ilma brändinimeta viipas.

Viga on iga esinemise käsitlemine tõendina, et tehisintellekti süsteem on brändi valinud või heaks kiitnud.

Mis on soovitus?

Soovitus toimub siis, kui tehisintellekti vastus esitab brändi sobiva valikuna kasutaja väljendatud või mõistlikult järeldatud vajaduse, kasutusjuhtumi, piirangute või otsustuskriteeriumide jaoks.

Soovitus võib olla otsene:

„Keskklassi turundusmeeskonnale, kes peab jälgima brändi mainimisi ja soovitusi mitmes tehisintellekti süsteemis, kaaluge Semantiot.”

See võib olla ka tingimuslik:

„Kui teie prioriteet on korduv uurimine fikseeritud stsenaariumipaneeli abil, võib Semantio olla sobiv valik.”

Või võrdlev:

„Loetletud tööriistade hulgas sobib Semantio paremini meeskondadele, kes peavad analüüsima täielikke tehisintellekti vastuseid, mitte jälgima ühte peamist tulemust.”

Igal juhul läheb süsteem kaugemale brändi nimetamisest. See seob brändi valikukontekstiga ja näitab teatud sobivuse astet.

See ei tähenda, et soovitus on tingimata õige, õiglane või põhineb täielikul teabel. Tehisintellekti süsteemid võivad teha põhjendamatuid soovitusi, jätta tähelepanuta asjakohased konkurendid, kasutada aegunud teavet või järeldada võimeid, mida bränd ei paku. Asjaolu, et süsteem brändi soovitab, on tähelepanek loodud vastuse kohta. See ei ole sõltumatu tõend toote kvaliteedi või turu paremuse kohta.

See on üks põhjus, miks soovituste andmed peaksid jääma seotuks täieliku vastuse, stsenaariumi, süsteemi ja tähelepaneku kuupäevaga. Soovitus ilma kontekstita on raskesti auditeeritav.

Kasulik eristus: mainimine, lühinimekirja lisamine ja soovitus

Praktikas aitab eristada vähemalt nelja brändi kohaloleku taset.

Mainimine

Bränd on vastuses olemas. Eelistust või sobivust ei vihjata.

Näide: „Mitmed ettevõtted avaldavad tehisintellekti brändi nähtavuse kohta uuringuid, sealhulgas Bränd X.”

Lühinimekirja lisamine

Bränd on lisatud valikute hulka, mida kasutaja võib kaaluda, kuid vastus ei näita selgelt eelistust ega sobivust.

Näide: „Võiksite enne pakkuja valimist võrrelda Bränd X-i, Bränd Y-i ja Bränd Z-i.”

Lühinimekirja lisamine võib olla väärtuslik. See näitab, et süsteem on brändi otsustuskomplekti toonud. Kuid seda ei tohiks automaatselt klassifitseerida soovituseks.

Soovitus

Vastus esitab brändi sobivana määratletud vajaduse, sihtrühma või kasutusjuhtumi jaoks.

Näide: „Bränd X on mõistlik valik organisatsioonidele, kes vajavad kvartaalset jälgimist mitmel tehisintellekti platvormil.”

Esmane soovitus

Vastus annab brändile teistest valikutest silmapaistvama positsiooni või esitab selle selgesõnaliselt eelistatud valikuna väljendatud tingimustel.

Näide: „Selle kasutusjuhtumi puhul alustaksin Bränd X-ist, sest see toetab stsenaariumipõhist analüüsi ja säilitab aluseks olevad vastused.”

Kõik uurimisprojektid ei vaja kõiki nelja kategooriat. Väiksem uuring võib kasutada ainult mainimist ja soovitust. Kuid klassifitseerimisreegel tuleks otsustada enne tulemuste ülevaatamist, eriti kui uuringut korratakse aja jooksul.

Vastasel juhul võib teatatud soovituste määra muutus peegeldada muutunud tõlgendust, mitte vastuste endi muutust.

Soovitus on alati kontekstuaalne

Puudub universaalne soovituste määr, mis kuuluks püsivalt brändile.

Brändi võidakse sageli soovitada ühele sihtrühmale ja harva teisele. See võib ilmuda laia kategooria küsimustes, kuid kaduda, kui kasutaja lisab turu, eelarve, tehnilise nõude või asukoha. See võib ilmuda teadlikkuse etapi stsenaariumides, samas kui konkurendid saavad tugevamaid soovitusi võrdlus- või otsustusfaasi stsenaariumides.

Kaaluge neid küsimusi:

1. „Millised tööriistad aitavad turundusmeeskonnal mõista, kuidas tehisintellekti süsteemid oma brändi kirjeldavad?”

2. „Milline lahendus sobib kommunikatsiooniagentuurile, mis viib läbi korduvaid tehisintellekti brändiuuringuid mitmele kliendile?”

3. „Mis on kõige odavam viis kontrollida, kas ChatGPT on minu ettevõtet maininud?”

4. „Millised platvormid saavad jälgida sotsiaalmeedia vestlusi tarbijabrändi kohta?”

Need on seotud, kuid nad ei küsi sama lahendust. Soovitust ühes stsenaariumis ei saa automaatselt teisele üle kanda.

Seepärast algab kaitstav uuring stsenaariumidest, mitte eelistatud vastusest. Stsenaarium peaks kirjeldama realistlikku kasutaja vajadust, asjakohaseid piiranguid ja uuritavat otsustusfaasi. Seda ei tohiks kirjutada pelgalt selleks, et luua uuritavale brändile ilmumise võimalus.

Hästi kavandatud paneel võib sisaldada kategooria avastamist, probleemi äratundmist, pakkuja võrdlust, konkreetseid kasutusjuhtumeid ja küsimusi määratletud sihtrühmadele. Saadud andmed võivad seejärel näidata mitte ainult seda, kas bränd ilmub, vaid ka seda, millistel asjaoludel seda asjakohaseks peetakse.

Viipaga ja spontaansed soovitused

Eristus viipaga ja spontaanse kohaloleku vahel kehtib ka soovituste kohta.

Viipaga soovitus toimub siis, kui kasutaja nimetab brändi küsimuses:

„Kas Bränd X on hea valik tehisintellekti nähtavuse jälgimiseks?”

Vastus võib brändi soovitada, tagasi lükata või kirjeldada selle tugevusi ja piiranguid. See võib olla kasulik süsteemi teadaoleva valiku hindamise testimiseks. See ei näita, kas bränd avastataks ilma eelneva teadlikkuseta.

Spontaanne soovitus toimub siis, kui bränd ilmub vastusesse, kuigi kasutaja seda ei nimetanud:

„Milliseid tööriistu peaks turundusmeeskond kaaluma, kui ta soovib uurida, kuidas tehisintellekti süsteemid tema brändi esindavad?”

See on tavaliselt tugevam märk brändita avastatavusest. Süsteem ise on valinud brändi kaasamiseks. Siiski tuleb tulemust hoolikalt lugeda. Soovitus võib sõltuda sõnastusest, keelest, turust, süsteemist, praegusest veebile juurdepääsust või muudest uurimistingimustest.

Keelemudelite hindamise uuringud on korduvalt näidanud, et näiliselt väikesed muutused viipa sõnastuses võivad mõjutada väljundeid. See on üks põhjus, miks uuring ei tohiks käsitleda ühte mugavat küsimust platvormi käitumise täieliku pildina. Artikkel State of What Art? A Call for Multi-Prompt LLM Evaluation on siin kasulik taust: see ei puuduta konkreetselt brändiuuringuid, kuid see demonstreerib, miks üks viipa sõnastus võib anda ülienesekindlaid järeldusi.

Mida tuleks lugeda soovituseks?

Mõõtmisraamistik vajab selget reeglit. Täpne klassifikatsioon võib uuringuti erineda, kuid reegel peaks olema selgesõnaline ja järjepidevalt rakendatud.

Vastust võib klassifitseerida soovituseks, kui see vastab mõlemale tingimusele:

1. see identifitseerib brändi kui kasutaja vajaduse, olukorra või kriteeriumide jaoks asjakohase valiku; ja

2. see väljendab sobivust, eelistust, sobivust või selget kutset brändi kaaluda.

Soovituse signaalid võivad sisaldada fraase nagu:

• „kaaluge Bränd X-i”;

• „Bränd X sobib hästi…”;

• „Bränd X võib sobida, kui…”;

• „Valiksin Bränd X-i, kui…”;

• „Bränd X on üks paremaid valikuid…”;

• „alustage Bränd X-ist, kui teie prioriteet on…”.

Ainult sõnastusest ei piisa alati. „Võite kaaluda Bränd X-i” võib olla nõrk lühinimekirja lisamine, kui vastus ei anna asjakohasuse põhjust. Vastupidi, vastus võib sisaldada sisulist soovitust, kasutamata sõna soovitan.

Sel põhjusel peaks klassifikatsioon arvestama kogu vastust, mitte isoleeritud fraasi. Süsteem saab esmalt loetleda mitu brändi, seejärel selgitada, milline neist sobib määratud nõudega. See võib ka brändi tingimuslikult soovitada, märkides samal ajal olulise piirangu. Nii positiivne sobivus kui ka hoiatus tuleks tõendites säilitada.

Mida ei tohiks lugeda soovituseks?

Järgmised olukorrad tuleks tavaliselt soovitustest eraldi hoida:

• bränd on lihtsalt loendis nimetatud ilma sobivuse näitamata;

• brändi tsiteeritakse allikana;

• vastus kirjeldab brändi faktiliselt pärast seda, kui kasutaja selle nimetas;

• bränd ilmub konkurendi või võrdluspunktina;

• süsteem ütleb, et bränd ei sobi väljendatud vajaduse jaoks;

• toode on nimetatud, kuid valesti brändile omistatud;

• bränd on lisatud, sest viip nõudis kõigi teadaolevate pakkujate loetlemist;

• vastus on liiga ebamäärane, et kindlaks teha, kas süsteem esitab brändi asjakohasena.

Viimane kategooria on olulisem, kui see võib tunduda. Tehisintellekti vastused kasutavad sageli kokkusurutud keelt, eriti tabelites ja lühikestes loendites. Kui uurija ei suuda kindlaks teha, kas sobivust vihjatakse, tuleks kirje märkida ebamääraseks või üle vaadata dokumenteeritud reegli alusel. Iga vastuse sundimine binaarsesse klassifikatsiooni võib luua eksitava täpsuse taseme.

Miks kõrge mainimismäär võib eksisteerida koos madala soovituste määraga

Bränd võib sageli ilmuda, kuid saada vähe soovitusi mitmel põhjusel.

See võib olla laialdaselt tunnustatud, kuid seotud ainult kitsa toote või sihtrühmaga. Seda võidakse mainida peamiselt viipaga päringutes. Seda võidakse kasutada viiteallikana, mitte valikuvõimalusena. See võib ilmuda laiaulatuslikes informatiivsetes stsenaariumides, kuid mitte otsustuskesksetes. Seda võidakse mainida ka konkurentide kõrval, ilma et seda esitataks kasutaja vajadusele sobivana.

Vastupidine on ka võimalik. Spetsialiseeritud brändil võib olla tagasihoidlik üldine mainimismäär, kuid tugev soovituste määr väikeses rühmas väga asjakohastes stsenaariumides. See võib olla kasulikum kui lai nähtavus, kui need stsenaariumid vastavad tegelikule kaubanduslikule võimalusele.

Kumbagi tulemust ei saa mõista ainult ühe protsendi põhjal.

Praktiline aruanne peaks seetõttu näitama vähemalt:

• sobivate vastuste arvu;

• kehtivate mainimiste arvu ja määra;

• soovituste arvu ja määra;

• viipaga ja spontaansete tähelepanekute jaotust;

• stsenaariumi taseme tulemusi;

• süsteemi taseme tulemusi;

• täielikke vastuseid või asjakohaseid tõendite väljavõtteid;

• loendamise ja klassifitseerimise reegleid.

Määratletud uuringu puhul on põhilised arvutused lihtsad:

Mainimismäär = kehtivat mainimist sisaldavad sobivad vastused ÷ kõik sobivad vastused × 100%

Soovituste määr = kehtivat soovitust sisaldavad sobivad vastused ÷ kõik sobivad vastused × 100%

Neid määrasid ei tohiks esitada tõenäosustena, et iga kasutaja näeb või saab soovituse. Need kirjeldavad proovis täheldatud proportsiooni: valitud stsenaariumid, süsteemid, keel, turg, kuupäev ja uurimistingimused.

Soovitus võib siiski olla ebatäpne

Soovitus ei ole positiivse esindatuse sünonüüm.

Tehisintellekti süsteem võib brändi soovitada võime põhjal, mida see enam ei paku. See võib segamini ajada kaks sarnase nimega üksust, omistada toote valele ettevõttele või jätta välja piirangu, mis on kasutaja jaoks otsustav. See võib ka soovitada ühte pakkujat, ignoreerides samal ajal paremini sobivaid alternatiive.

Siin ühendub soovituste mõõtmine laiemate brändi esindatuse küsimustega suurtes keelemudelites. Kohalolek ja soovitus on jälgitavad sündmused, kuid esindatuse kvaliteet nõuab täiendavaid kontrolle: faktiline täpsus, kategooria sobivus, toote omistamine, sihtrühma sobivus, konkurentide kontekst, allikad ja raamistik.

Soovitus tuleks seetõttu üle vaadata kui vastus kontekstis, mitte automaatselt tähistada kui edu.

Sama põhimõte kehtib ka brändi hallutsinatsioonide kohta. Kui tehisintellekti süsteem soovitab ettevõtet, sest see on leiutanud toote, asukoha, sertifikaadi või partnerluse, sisaldab vastus soovitussündmust, kuid ka faktilist probleemi. Need tähelepanekud peaksid uurimisandmetes jääma eristatavaks, mitte kokku langema üheks positiivseks tulemuseks.

Kuidas mõõta mainimist ja soovitust aja jooksul

Korduvad uuringud võivad näidata, kas brändi täheldatud kohalolek või soovituste muster muutub. Kuid ainult siis, kui uuringu võrdlev tuum jääb stabiilseks.

Võimaluse korral tuleks säilitada samad üksused, stsenaariumi loogika, sihtrühmad, turud, süsteemid ja klassifitseerimisreeglid. Paneeli muudatused võivad siiski olla vajalikud ettevõtte arenedes, kuid need tuleks dokumenteerida ja käsitleda eraldi uuringu fikseeritud osast.

See on erinevus ühekordse tähelepaneku ja LLM-i brändi jälgimise vahel. Jälgimine võrdleb võrreldavaid uurimisperioode. See ei tähenda aeg-ajalt vestlusrobotilt küsimist, kas talle bränd meeldib.

Kui soovituste määr muutub, peaksid esimesed küsimused olema kirjeldavad:

• Millised stsenaariumid põhjustasid muutuse?

• Kas liikumine oli nähtav mitmes süsteemis või ainult ühes?

• Kas spontaansed soovitused muutusid, viipaga soovitused muutusid või mõlemad?

• Kas brändist sai esmane soovitus või lisati see lihtsalt rohkematesse lühinimekirjadesse?

• Kas soovitused olid faktiliselt täpsed?

• Mis juhtus konkurentide komplektiga?

• Kas uurimistingimused jäid võrreldavaks?

Alles siis saab meeskond otsustada, kas tulemus on tõenäoliselt sisukas, vajab edasist testimist või peegeldab lihtsalt normaalset vastuse variatsiooni.

Lihtne mudel tehisintellekti vastuste lugemiseks

Kasulik järjestus on:

Üksus → stsenaarium → vastus → klassifikatsioon → tõendid

Esiteks määratlege üksus: ametlikud brändinimed, variandid, tooted ja suhted, mis võimaldavad kehtivat identifitseerimist.

Teiseks määratlege stsenaarium: kes küsib, mida nad vajavad, millises otsustusfaasis nad on ja millised piirangud on olulised.

Kolmandaks säilitage vastus, mitte ainult skoor või jah/ei silt.

Neljandaks klassifitseerige tähelepanek: kehtivat mainimist pole, mainimine, lühinimekirja lisamine, soovitus, esmane soovitus, negatiivne soovitus või ebamäärane tulemus.

Lõpuks säilitage tõendid, mis on vajalikud klassifikatsiooni hilisemaks ülevaatamiseks: täielik vastus, platvorm, kuupäev, keel, nähtavad allikad, kui need on saadaval, ja kõik asjakohased hoiatused.

See ei eemalda tõlgendust protsessist. See muudab tõlgenduse ülevaadatavaks. See takistab ka soodsalt näiva mainimismäära ekslikku pidamist tõendiks, et tehisintellekti süsteemid suunavad aktiivselt asjakohaseid kasutajaid brändi poole.

Mida see eristus ei tähenda

Mainimiste eraldamine soovitustest ei tähenda, et iga mainimine ilma soovituseta on ebaoluline. Tunnustamine, allika kohalolek, kategooria kaasamine ja konkurentide koosesinemine võivad kõik olla kasulikud tähelepanekud, kui need vastavad määratletud uurimisküsimusele.

See ei tähenda ka, et soovituste määr ennustab müüki, eelistust või kliendikäitumist. Tehisintellekti loodud vastused ei ole turu nõudluse representatiivne valim ja nende sõnastus võib süsteemide ja aja jooksul erineda. Soovitus on tõend sellest, mida valitud süsteem valitud stsenaariumis genereeris – ei rohkem ega vähem.

Kõige tähtsam on see, et kõrgem soovituste määr ei ole automaatselt eesmärk. Asjakohane küsimus on, kas brändi soovitatakse täpselt, stsenaariumides, kuhu see tõeliselt kuulub, sihtrühmadele, keda see teenindada saab, ja esindatusega, mis on kooskõlas kontrollitud teabega.

Seepärast tuleks mainimist ja soovitust mõõta eraldi. Üks ütleb meile, et bränd sisenes vastusesse. Teine ütleb meile, et süsteem esitas selle asjakohase valikuna. Nende kokku segamine võib luua atraktiivsema mõõdiku, kuid see eemaldab eristuse, mis on vajalik tehisintellekti süsteemide tegeliku öeldu mõistmiseks.

Kui soovite neid tähelepanekuid uurida määratletud stsenaariumides ja tehisintellekti süsteemides, looge Semantio konto ja alustage baasuuringuga.