Maininta vs. suositus tekoälyvastauksissa

Brändin esiintyminen tekoälyn luomassa vastauksessa ei välttämättä tarkoita, että järjestelmä suosittelee sitä.

Tämä ero on helppo unohtaa, varsinkin kun hallintapaneeli ilmoittaa yhden näkyvyysluvun tai tutkimus pelkistyy luetteloksi brändinimistä. Yritys voidaan mainita esimerkkinä, siteerata lähteenä, verrata kilpailijoihin, kuvata sopimattomaksi tiettyyn käyttötarkoitukseen tai sisällyttää vain siksi, että käyttäjä mainitsi sen kysymyksessä. Mikään näistä havainnoista ei vastaa suositusta.

Tekoälyjärjestelmien brändiedustusta seuraaville tiimeille ero on merkityksellinen. Maininta osoittaa läsnäolon. Suositus osoittaa, että järjestelmä on yhdistänyt brändin käyttäjän tarpeeseen, päätöskontekstiin tai valintakriteereihin. Nämä ovat toisiinsa liittyviä, mutta erillisiä tapahtumia, ja ne tulisi mitata erikseen.

Kuten oppaassamme tekoälyn brändinäkyvyydestä selitetään, näkyvyys on brändin, tuotteen, verkkotunnuksen tai siihen liittyvän entiteetin havaittavissa oleva läsnäolo määritellyssä joukossa tekoälyn luomia vastauksia. Suositus on yksi mahdollinen tämän läsnäolon muoto. Se ei ole sen oletusmerkitys.

Mitä brändin maininta tekoälyvastauksessa tarkoittaa?

Brändin maininta tapahtuu, kun tekoälyjärjestelmä viittaa brändiin, yritykseen, tuotteeseen, palveluun, verkkotunnukseen tai muuhun brändiin liittyvään määriteltyyn entiteettiin.

Määritelmä voi kuulostaa yksinkertaiselta, mutta hyödyllinen tutkimus tarvitsee tarkemman säännön. Viittaus tulisi laskea vain, jos vastaus tunnistaa tarkoitetun entiteetin riittävän tarkasti, jotta havainto on merkityksellinen. Samankaltaista yrityksen nimeä, virheellisesti liitettyä tuotetta tai sekaantunutta tytäryhtiötä ei tulisi automaattisesti laskea päteväksi maininnaksi.

Esimerkiksi tekoälyvastaus voi mainita yrityksen useilla eri tavoilla:

• tarjoajana luokkaluettelossa;

• esimerkkinä aiheen selittämiseksi;

• kilpailijana toiselle brändille;

• siteeratun lähteen julkaisijana;

• yrityksenä, joka liittyy menneeseen tapahtumaan tai kiistaan;

• vaihtoehtona, jota käyttäjän tulisi välttää;

• koska kehotteessa mainittiin brändi suoraan;

• tuotteena ilman selvää linkitystä sen emobrändiin.

Kaikki nämä voivat osoittaa, että entiteetti on vastauksessa läsnä. Ne eivät kuitenkaan osoita samaa asiaa löydettävyydestä, soveltuvuudesta tai mieltymyksestä.

Käytännöllinen toiminnallinen määritelmä on:

Pätevä brändin maininta on oikein tunnistettu viittaus määriteltyyn brändientiteettiin kelvollisessa tekoälyn luomassa vastauksessa.

Sanat oikein tunnistettu ja kelvollinen ovat tärkeitä. Vastaus voi sisältää oikean nimen, mutta viitata silti toiseen organisaatioon. Se voi myös sisältää brändin, koska kysymys nimenomaisesti vaati sitä, mikä on arvokasta tunnistustestauksessa, mutta paljon vähemmän informatiivista brändittömästä löydettävyydestä.

Jokaisella maininnalla ei ole samaa merkitystä

Yksi mainintaprosentti voi peittää tärkeitä eroja. Tarkastellaan seuraavia vastauksia kysymykseen ohjelmistosta, jolla seurataan, miten tekoälyjärjestelmät kuvaavat brändiä.

Pointti ei ole, että yksi mainintaluokka olisi aina arvokkaampi kuin toinen. Oikea tulkinta riippuu tutkimuksen tarkoituksesta. Pelkkä lähdeviittaus voi olla tärkeä julkaisijalle, joka etsii todisteita siitä, että sen verkkotunnus pääsee tekoälyjärjestelmän lähdeympäristöön. Kehotettu maininta voi olla tärkeä, kun yritys haluaa testata entiteetin tunnistusta tai faktatarkkuutta. Spontaani maininta on merkityksellisempi, kun kysymys koskee löydettävyyttä ilman brändin nimeä kehotteessa.

Virhe on käsitellä jokaista esiintymää todisteena siitä, että tekoälyjärjestelmä on valinnut tai hyväksynyt brändin.

Mitä suositus on?

Suositus tapahtuu, kun tekoälyvastaus esittää brändin sopivana vaihtoehtona käyttäjän ilmoitettuun tai kohtuudella pääteltävään tarpeeseen, käyttötapaukseen, rajoituksiin tai päätöskriteereihin.

Suositus voi olla suora:

”Keskikokoiselle markkinointitiimille, joka tarvitsee brändin mainintojen ja suositusten seurantaa useissa tekoälyjärjestelmissä, harkitse Semantiota.”

Se voi olla myös ehdollinen:

”Jos prioriteettisi on toistuva tutkimus kiinteällä skenaariopaneelilla, Semantio voi olla sopiva vaihtoehto.”

Tai vertaileva:

”Luetelluista työkaluista Semantio sopii paremmin tiimeille, jotka tarvitsevat täydellisten tekoälyvastausten analysointia yhden otsikkopisteen seuraamisen sijaan.”

Jokaisessa tapauksessa järjestelmä menee pidemmälle kuin brändin nimeäminen. Se yhdistää brändin valintakontekstiin ja osoittaa jonkinasteista soveltuvuutta.

Se ei tarkoita, että suositus olisi välttämättä oikea, reilu tai perustuisi täydellisiin tietoihin. Tekoälyjärjestelmät voivat tehdä perusteettomia suosituksia, jättää huomiotta asiaankuuluvia kilpailijoita, käyttää vanhentunutta tietoa tai päätellä ominaisuuksia, joita brändi ei tarjoa. Se, että järjestelmä suosittelee brändiä, on havainto luodusta vastauksesta. Se ei ole riippumaton todiste tuotteen laadusta tai markkinoiden ylivoimaisuudesta.

Tämä on yksi syy, miksi suositustietojen tulisi pysyä yhteydessä koko vastaukseen, skenaarioon, järjestelmään ja havainnon päivämäärään. Suositusta ilman kontekstia on vaikea auditoida.

Hyödyllinen erottelu: maininta, ehdokaslistalle sisällyttäminen ja suositus

Käytännössä on hyödyllistä erottaa vähintään neljä brändin läsnäolon tasoa.

Maininta

Brändi on läsnä vastauksessa. Mieltymystä tai soveltuvuutta ei implisoida.

Esimerkki: ”Useat yritykset julkaisevat tutkimusta tekoälyn brändinäkyvyydestä, mukaan lukien Brändi X.”

Ehdokaslistalle sisällyttäminen

Brändi sisältyy vaihtoehtoihin, joita käyttäjä voi harkita, mutta vastaus ei selvästi osoita mieltymystä tai sopivuutta.

Esimerkki: ”Voit vertailla Brändi X:ää, Brändi Y:tä ja Brändi Z:tä ennen palveluntarjoajan valintaa.”

Ehdokaslistalle sisällyttäminen voi olla arvokasta. Se osoittaa, että järjestelmä on tuonut brändin päätöksentekojoukkoon. Sitä ei kuitenkaan tulisi automaattisesti luokitella suositukseksi.

Suositus

Vastaus esittää brändin sopivana määriteltyyn tarpeeseen, yleisöön tai käyttötapaukseen.

Esimerkki: ”Brändi X on kohtuullinen vaihtoehto organisaatioille, jotka tarvitsevat neljännesvuosittaista seurantaa useilla tekoälyalustoilla.”

Ensisijainen suositus

Vastaus antaa brändille näkyvämmän aseman kuin muille vaihtoehdoille tai esittää sen nimenomaisesti ensisijaisena valintana ilmoitetuissa olosuhteissa.

Esimerkki: ”Tähän käyttötapaukseen aloittaisin Brändi X:stä, koska se tukee skenaariopohjaista analyysiä ja säilyttää taustalla olevat vastaukset.”

Jokainen tutkimussuunnitelma ei tarvitse kaikkia neljää luokkaa. Pienempi tutkimus voi käyttää vain mainintaa ja suositusta. Mutta luokittelusääntö tulisi päättää ennen tulosten tarkastelua, varsinkin jos tutkimus toistetaan ajan mittaan.

Muuten raportoidun suositusprosentin muutos voi heijastaa muuttunutta tulkintaa pikemminkin kuin muutosta itse vastauksissa.

Suositus on aina kontekstuaalinen

Ei ole olemassa universaalia suositusprosenttia, joka kuuluisi pysyvästi brändille.

Brändiä voidaan suositella usein yhdelle yleisölle ja harvoin toiselle. Se voi esiintyä laajoissa luokkakohtaisissa kysymyksissä, mutta kadota, kun käyttäjä lisää markkinan, budjetin, teknisen vaatimuksen tai sijainnin. Se voidaan nimetä tietoisuusvaiheen skenaarioissa, kun taas kilpailijat saavat vahvempia suosituksia vertailu- tai päätöksentekovaiheen skenaarioissa.

Harkitse näitä kysymyksiä:

1. ”Mitä työkaluja markkinointitiimi voi käyttää ymmärtääkseen, miten tekoälyjärjestelmät kuvaavat sen brändiä?”

2. ”Mikä ratkaisu sopii viestintätoimistolle, joka tekee toistuvia tekoälyn bränditutkimuksia useille asiakkaille?”

3. ”Mikä on halvin tapa tarkistaa, onko ChatGPT maininnut yritykseni?”

4. ”Mitkä alustat voivat seurata sosiaalisen median keskusteluja kuluttajabrändistä?”

Ne ovat toisiinsa liittyviä, mutta ne eivät pyydä samaa ratkaisua. Suositusta yhdessä skenaariossa ei voida automaattisesti siirtää toiseen.

Tästä syystä puolustettavissa oleva tutkimus alkaa skenaarioista, ei ensisijaisesta vastauksesta. Skenaarion tulisi kuvata realistinen käyttäjän tarve, asiaankuuluvat rajoitukset ja tarkasteltava päätöksentekovaihe. Sitä ei tulisi kirjoittaa vain luodakseen tilaisuuden tutkittavalle brändille esiintyä.

Hyvin suunniteltu paneeli voi sisältää luokkien löytämisen, ongelman tunnistamisen, palveluntarjoajien vertailun, erityiset käyttötapaukset ja kysymykset määritellyille yleisöille. Tuloksena olevat tiedot voivat sitten osoittaa paitsi sen, esiintyykö brändi, myös missä olosuhteissa sitä pidetään merkityksellisenä.

Kehotetut ja spontaanit suositukset

Ero kehotetun ja spontaanin läsnäolon välillä koskee myös suosituksia.

Kehotettu suositus tapahtuu, kun käyttäjä nimeää brändin kysymyksessä:

”Onko Brändi X hyvä valinta tekoälyn näkyvyyden seurantaan?”

Vastaus voi suositella brändiä, hylätä sen tai kuvata sen vahvuuksia ja rajoituksia. Tämä voi olla hyödyllistä testattaessa, miten järjestelmä arvioi tunnettua vaihtoehtoa. Se ei osoita, löydettäisiinkö brändiä ilman ennakkovalmistelua.

Spontaani suositus tapahtuu, kun brändi pääsee vastaukseen, vaikka käyttäjä ei nimennyt sitä:

”Mitä työkaluja markkinointitiimin tulisi harkita, kun se haluaa tutkia, miten tekoälyjärjestelmät edustavat sen brändiä?”

Tämä on yleensä vahvempi signaali brändittömästä löydettävyydestä. Järjestelmä itse on valinnut brändin sisällytettäväksi. Tulos on kuitenkin luettava huolellisesti. Suositus voi riippua sanamuodosta, kielestä, markkinoista, järjestelmästä, nykyisestä verkkoyhteydestä tai muista tutkimusolosuhteista.

Kielimallien arviointia koskeva tutkimus on toistuvasti osoittanut, että näennäisesti pienet muutokset kehotteen muotoilussa voivat vaikuttaa tuloksiin. Tämä on yksi syy, miksi tutkimuksen ei tulisi käsitellä yhtä kätevää kysymystä täydellisenä kuvana alustan käyttäytymisestä. Artikkeli State of What Art? A Call for Multi-Prompt LLM Evaluation on hyödyllinen tausta tähän: se ei koske erityisesti bränditutkimusta, mutta se osoittaa, miksi yksi kehotteen sanamuoto voi tuottaa liian luottavaisia johtopäätöksiä.

Mitä tulisi laskea suositukseksi?

Mittauskehikko tarvitsee selkeän säännön. Tarkka luokittelu voi vaihdella tutkimuksen mukaan, mutta säännön tulisi olla selkeä ja johdonmukaisesti sovellettu.

Vastaus voidaan luokitella suositukseksi, kun se täyttää molemmat ehdot:

1. se tunnistaa brändin vaihtoehdoksi, joka on merkityksellinen käyttäjän tarpeelle, tilanteelle tai kriteereille; ja

2. se ilmaisee soveltuvuutta, mieltymystä, sopivuutta tai selvän kutsun harkita brändiä.

Suosituksen signaaleja voivat olla esimerkiksi lauseet:

• ”harkitse Brändi X:ää”;

• ”Brändi X sopii hyvin…”;

• ”Brändi X voi olla sopiva, jos…”;

• ”Valitsisin Brändi X:n, kun…”;

• ”Brändi X on yksi paremmista vaihtoehdoista…”;

• ”aloita Brändi X:stä, jos prioriteettisi on…”.

Pelkkä sanamuoto ei aina riitä. ”Voit harkita Brändi X:ää” voi olla heikko ehdokaslistalle sisällyttäminen, jos vastaus ei anna syytä merkityksellisyydelle. Toisaalta vastaus voi sisältää olennaisen suosituksen käyttämättä sanaa suositella.

Tästä syystä luokittelussa tulisi ottaa huomioon koko vastaus eikä vain erillinen lause. Järjestelmä voi ensin luetella useita brändejä ja sitten selittää, mikä niistä sopii määriteltyyn vaatimukseen. Se voi myös suositella brändiä ehdollisesti huomioiden tärkeän rajoituksen. Sekä positiivinen sopivuus että varoitus tulisi säilyttää todisteissa.

Mitä ei tulisi laskea suositukseksi?

Seuraavat tilanteet tulisi yleensä pitää erillään suosituksista:

• brändi on vain nimetty luettelossa ilman viitettä sopivuudesta;

• brändiä siteerataan lähteenä;

• vastaus kuvaa brändiä faktisesti käyttäjän nimettyä sen;

• brändi esiintyy kilpailijana tai vertailukohtana;

• järjestelmä sanoo, että brändi ei sovellu ilmoitettuun tarpeeseen;

• tuote on nimetty, mutta virheellisesti liitetty brändiin;

• brändi sisältyy, koska kehotteessa vaadittiin kaikkien tunnettujen palveluntarjoajien luettelointia;

• vastaus on liian epämääräinen, jotta voitaisiin määrittää, esittääkö järjestelmä brändin merkityksellisenä.

Viimeinen luokka on tärkeämpi kuin miltä se saattaa vaikuttaa. Tekoälyvastaukset käyttävät usein tiivistettyä kieltä, erityisesti taulukoissa ja lyhyissä luetteloissa. Jos tutkija ei voi määrittää, implisoidaanko soveltuvuutta, merkintä tulisi merkitä epäselväksi tai tarkistaa dokumentoidun säännön mukaisesti. Jokaisen vastauksen pakottaminen binääriseen luokitteluun voi luoda harhaanjohtavan tarkkuustason.

Miksi korkea mainintaprosentti voi esiintyä yhdessä alhaisen suositusprosentin kanssa

Brändi voi esiintyä usein, mutta saada vähän suosituksia useista syistä.

Se voi olla laajalti tunnistettu, mutta liitetty vain kapeaan tuotteeseen tai yleisöön. Se voidaan mainita pääasiassa kehotetuissa kyselyissä. Sitä voidaan käyttää viitelähteenä pikemminkin kuin vaihtoehtona valita. Se voi esiintyä laajoissa informatiivisissa skenaarioissa, mutta ei päätöksentekoon suuntautuneissa. Se voidaan myös mainita kilpailijoiden rinnalla ilman, että sitä esitetään sopivana käyttäjän tarpeeseen.

Päinvastainenkin on mahdollista. Erikoistuneella brändillä voi olla vaatimaton kokonaismainintaprosentti, mutta vahva suositusprosentti pienessä ryhmässä erittäin merkityksellisiä skenaarioita. Tämä voi olla hyödyllisempää kuin laaja näkyvyys, jos nämä skenaariot vastaavat todellista kaupallista mahdollisuutta.

Kumpaakaan tulosta ei voida ymmärtää pelkästä prosenttiluvusta.

Käytännöllisen raportin tulisi siksi näyttää vähintään:

• kelvollisten vastausten määrä;

• pätevien mainintojen määrä ja osuus;

• suositusten määrä ja osuus;

• kehotettujen ja spontaanien havaintojen jakauma;

• skenaariokohtaiset tulokset;

• järjestelmäkohtaiset tulokset;

• täydelliset vastaukset tai asiaankuuluvat todisteotteet;

• laskenta- ja luokittelusäännöt.

Määritellyssä tutkimuksessa peruslaskelmat ovat yksinkertaisia:

Mainintaprosentti = kelvolliset vastaukset, jotka sisältävät pätevän maininnan ÷ kaikki kelvolliset vastaukset × 100 %

Suositusprosentti = kelvolliset vastaukset, jotka sisältävät pätevän suosituksen ÷ kaikki kelvolliset vastaukset × 100 %

Näitä prosenttilukuja ei tulisi esittää todennäköisyyksinä, että joku käyttäjä näkee tai saa suosituksen. Ne kuvaavat tietyssä otoksessa havaittua osuutta: valitut skenaariot, järjestelmät, kieli, markkinat, päivämäärä ja tutkimusolosuhteet.

Suositus voi silti olla epätarkka

Suositus ei ole synonyymi positiiviselle edustukselle.

Tekoälyjärjestelmä voi suositella brändiä sen perusteella, että sillä on ominaisuus, jota se ei enää tarjoa. Se voi sekoittaa kaksi samannimistä entiteettiä, liittää tuotteen väärään yritykseen tai jättää huomiotta rajoituksen, joka on käyttäjälle ratkaiseva. Se voi myös suositella yhtä palveluntarjoajaa jättäen huomiotta paremmin sopivat vaihtoehdot.

Tässä suosituksen mittaus liittyy laajempaan kysymykseen brändiedustuksesta suurissa kielimalleissa. Läsnäolo ja suositus ovat havaittavissa olevia tapahtumia, mutta edustuksen laatu vaatii lisätarkistuksia: faktatarkkuus, luokkakohtainen sopivuus, tuotteen attribuutio, yleisön sopivuus, kilpailijakonteksti, lähteet ja kehystys.

Suositus tulisi siksi tarkistaa vastauksena kontekstissa, eikä sitä tulisi automaattisesti juhlia menestyksenä.

Sama periaate koskee brändihallusinaatioita. Jos tekoälyjärjestelmä suosittelee yritystä, koska se on keksinyt tuotteen, sijainnin, sertifikaatin tai kumppanuuden, vastaus sisältää suositustapahtuman, mutta myös faktavirheen. Nämä havainnot tulisi säilyttää erotettavina tutkimusrekisterissä sen sijaan, että ne yhdistettäisiin yhdeksi positiiviseksi tulokseksi.

Miten mainintaa ja suositusta mitataan ajan mittaan

Toistuva tutkimus voi paljastaa, muuttuuko brändin havaittu läsnäolo- tai suosituskuvio. Mutta vain jos tutkimuksen vertaileva ydin pysyy vakaana.

Samojen entiteettien, skenaariologian, yleisöjen, markkinoiden, järjestelmien ja luokittelusääntöjen tulisi säilyä mahdollisuuksien mukaan. Paneelin muutokset voivat silti olla tarpeen liiketoiminnan kehittyessä, mutta ne tulisi dokumentoida ja käsitellä erillään tutkimuksen kiinteästä osasta.

Tämä on ero kertaluonteisen havainnon ja LLM-brändiseurannan välillä. Seuranta vertaa vertailukelpoisia tutkimusjaksoja. Se ei tarkoita, että chatbotilta kysyttäisiin satunnaisesti, pitääkö se brändistä.

Kun suositusprosentti muuttuu, ensimmäisten kysymysten tulisi olla kuvailevia:

• Mitkä skenaariot aiheuttivat muutoksen?

• Oliko liike näkyvissä useissa järjestelmissä vai vain yhdessä?

• Muuttuivatko spontaanit suositukset, kehotetut suositukset vai molemmat?

• Tuliko brändistä ensisijainen suositus vai pääsikö se vain useammille ehdokaslistoille?

• Oliko suositukset faktisesti tarkkoja?

• Mitä tapahtui kilpailijajoukolle?

• Pysyivätkö tutkimusolosuhteet vertailukelpoisina?

Vasta sitten tiimi voi päättää, onko tulos todennäköisesti merkityksellinen, vaatiiko se lisätestausta vai heijastaako se vain normaalia vastausvaihtelua.

Yksinkertainen malli tekoälyvastausten lukemiseen

Hyödyllinen järjestys on:

Entiteetti → skenaario → vastaus → luokittelu → todisteet

Määrittele ensin entiteetti: viralliset brändinimet, variantit, tuotteet ja suhteet, jotka mahdollistavat pätevän tunnistuksen.

Toiseksi, määrittele skenaario: kuka kysyy, mitä he tarvitsevat, missä päätöksentekovaiheessa he ovat ja mitkä rajoitukset ovat tärkeitä.

Kolmanneksi, säilytä vastaus eikä vain pistemäärä tai kyllä/ei-merkintä.

Neljänneksi, luokittele havainto: ei pätevää mainintaa, maininta, ehdokaslistalle sisällyttäminen, suositus, ensisijainen suositus, negatiivinen suositus tai epäselvä tulos.

Lopuksi, säilytä todisteet, joita tarvitaan luokittelun tarkistamiseen myöhemmin: täydellinen vastaus, alusta, päivämäärä, kieli, näkyvät lähteet mahdollisuuksien mukaan ja kaikki asiaankuuluvat varoitukset.

Tämä ei poista tulkintaa prosessista. Se tekee tulkinnasta tarkistettavissa olevan. Se myös estää suotuisalta näyttävän mainintaprosentin erehtymisen todisteeksi siitä, että tekoälyjärjestelmät ohjaavat aktiivisesti asiaankuuluvia käyttäjiä brändiin.

Mitä tämä ero ei tarkoita

Mainintojen erottaminen suosituksista ei tarkoita, että jokainen maininta ilman suositusta olisi merkityksetön. Tunnistus, lähteen läsnäolo, luokkakohtainen sisällyttäminen ja kilpailijoiden samanaikainen esiintyminen voivat kaikki olla hyödyllisiä havaintoja, kun ne vastaavat määriteltyyn tutkimuskysymykseen.

Se ei myöskään tarkoita, että suositusprosentti ennustaa myyntiä, mieltymystä tai asiakaskäyttäytymistä. Tekoälyn luomat vastaukset eivät ole edustava otos markkinoiden kysynnästä, ja niiden sanamuoto voi vaihdella järjestelmien ja ajan mittaan. Suositus on todiste siitä, mitä valittu järjestelmä tuotti valitussa skenaariossa – ei enempää eikä vähempää.

Tärkeintä on, että korkeampi suositusprosentti ei ole automaattisesti tavoite. Asiaankuuluva kysymys on, suositellaanko brändiä tarkasti, niissä skenaarioissa, joihin se aidosti kuuluu, niille yleisöille, joita se voi palvella, ja esityksellä, joka on yhdenmukainen varmennettujen tietojen kanssa.

Siksi maininta ja suositus tulisi mitata erikseen. Toinen kertoo meille, että brändi pääsi vastaukseen. Toinen kertoo meille, että järjestelmä esitti sen merkityksellisenä vaihtoehtona. Niiden sekoittaminen voi luoda houkuttelevamman mittarin, mutta se poistaa eron, jota tarvitaan ymmärtämään, mitä tekoälyjärjestelmät todella sanovat.

Jos haluat tutkia näitä havaintoja määritellyissä skenaarioissa ja tekoälyjärjestelmissä, luo Semantio-tili ja aloita peruslinjatutkimuksella.