Mitä brändin representaatio tarkoittaa suurissa kielimalleissa?

Brändi voi esiintyä tekoälyn tuottamassa vastauksessa, mutta sen representaatio voi silti olla virheellinen.

Malli voi mainita yrityksen, mutta sijoittaa sen väärään kategoriaan, suositella sen tuotetta väärälle yleisölle, verrata sitä epäolennaisiin kilpailijoihin tai toistaa vanhentunutta tietoa.

Jokaisessa tapauksessa brändi on näkyvissä. Ongelma on siinä, mitä tämä näkyvyys todella tarkoittaa.

Sen tarkistaminen, onko brändi mainittu, ei siis riitä. Näkyvyys on yksi brändin representaation ulottuvuus, ei sen täydellinen kuvaus.

Brändin representaation määrittely suurissa kielimalleissa

Brändin representaatio suurissa kielimalleissa on havaittavissa oleva tapa, jolla tietty LLM-pohjainen järjestelmä tunnistaa, kuvailee, luokittelee, vertailee, suosittelee ja näkyvästi perustelee brändiä vastauksena määriteltyyn skenaarioon, kieleen, aikaan ja ympäristöön.

Representaatio sisältää sekä vastauksessa esiintyvän tiedon että kaikki merkittävät puutteet, vääristymät tai virheet. Se kattaa:

• brändille annetun roolin;

• siihen liittyvät tuotteet, palvelut ja yleisöt;

• sen kuvaamiseen käytetyt attribuutit;

• suositellaanko sitä ja millä ehdoilla;

• kilpailijat, joihin sitä verrataan;

• vastauksen yhteydessä näytetyt lähteet;

• onko tieto ajantasaista ja faktisesti oikeaa.

LLM-brändin representaatiolle ei ole vielä yhtä yleisesti hyväksyttyä akateemista määritelmää. Tutkimus on tarkastellut sen komponentteja erikseen, mukaan lukien näkyvyys generatiivisissa hakukoneissa, suositukset, brändin attribuutit, kehotteen herkkyys, viittaukset ja tarkkuus. EMNLP-tutkimus on myös dokumentoinut eroja siinä, miten kielimallit yhdistävät ja suosittelevat brändejä.

Brändin representaatio yhdistää nämä komponentit monitahoisena tutkimuskohteena.

Mitä me oikeastaan havaitsemme?

Representaatiosta puhuminen "mallissa" on kätevä lyhenne. Käytännössä käyttäjät kohtaavat laajemman järjestelmän, joka voi sisältää:

• taustalla olevan mallin;

• järjestelmän ohjeet;

• kysymyksen ja edeltävän keskustelun;

• tuotteen käyttöliittymän ja sen asetukset;

• haku- tai noutomekanismit;

• saatavilla olevat lähteet;

• ajan, jolloin kysely tehtiin.

Jokaisella mallilla ei ole internet-yhteyttä, se ei käytä ulkoista noutoa tai näytä viittauksia. API:n kautta saadut tulokset voivat myös poiketa kuluttajasovelluksen tuottamista vastauksista, vaikka ne käyttäisivät samaa mallibrändiä.

Retrieval-Augmented Generation -tutkimus erottaa malliparametreihin koodatun tiedon ulkoisista resursseista noudetusta tiedosta. Tämä ei tarkoita, että jokainen kaupallinen järjestelmä käyttäisi samaa arkkitehtuuria. Kaikissa brändin representaatiotutkimuksissa tulisi siksi täsmentää, mitä mallia, järjestelmää, käyttöliittymää ja vastaustilaa testattiin.

Emme myöskään mittaa sitä, mitä malli "ajattele". Mallit eivät pidä mielipiteitä inhimillisessä mielessä. Havaitsemme tulosteita ja niiden ominaisuuksia. Tämä erottelu auttaa välttämään antropomorfista kieltä, mikä on huomioitu NIST Generative AI Profile -asiakirjassa.

Brändin representaatio ja siihen liittyvät käsitteet

Brändin representaatio on päällekkäinen tuttujen markkinoinnin ja tutkimuksen alueiden kanssa, mutta se ei ole identtinen minkään niistä kanssa.

Perinteinen hakukone esittää dokumentteja. Generatiivinen järjestelmä voi luoda yhden vastauksen, jossa brändiä kuvataan, jätetään pois, verrataan tai suositellaan. Sen läsnäoloa ei pidä pelkistää toisenlaiseksi sijoitukseksi.

Seitsemän brändin representaation ulottuvuutta

1. Läsnäolo ja entiteetin tunnistaminen

Ensimmäinen kysymys on, esiintyykö brändi. Toinen on, onko järjestelmä tunnistanut oikean entiteetin.

Malli voi yhdistää tietoja erillisistä organisaatioista tai sekoittaa emoyhtiön, paikallisen tytäryhtiön, tuotelinjan ja jakelijan. Nimen esiintyminen vastauksessa ei siis ole todiste oikeasta representaatiosta. Entiteetin ja sen suhteiden on myös oltava tarkkoja.

2. Rooli, kategoria ja asema

Brändi voi esiintyä palveluntarjoajana, valmistajana, asiantuntijalähteenä, esimerkkinä, kumppanina, kilpailijana, vaihtoehtona tai varoituksena. Nämä roolit eivät ole samanarvoisia. Yritys voidaan mainita usein alan tietolähteenä, mutta se ei koskaan esiinny suositeltujen palveluntarjoajien joukossa. Se voidaan myös sijoittaa kategoriaan, johon se ei halua tulla yhdistetyksi.

Representaatio koskee paitsi läsnäoloa myös sitä, minkä tehtävän brändi suorittaa vastauksessa.

3. Tuotteet, palvelut ja yleisöt

Järjestelmä voi tuntea lippulaivatuotteen, mutta jättää huomiotta muut liiketoimintalinjat. Se voi jättää huomaamatta brändin B2B-palvelut, määrittää palvelun väärälle yleisölle tai kuvata alueellisen tarjouksen globaalisti saatavilla olevana.

Analyysin tulisi siksi kysyä, mitkä tuotteet ja palvelut liitetään brändiin, mitkä puuttuvat, mitkä asiakastarpeet siihen yhdistetään ja onko tarjouksen ilmoitettu laajuus ajantasaista.

Kaksi vastausta voivat mainita saman nimen, mutta kuvata kaksi olennaisesti erilaista versiota brändistä.

4. Suositus ja skenaarion sopivuus

Brändin mainitseminen ei ole sama asia kuin sen suositteleminen. Järjestelmä voi sisällyttää sen monien vaihtoehtojen joukkoon, asettaa sen lyhytlistalle, tunnistaa sen parhaaksi vaihtoehdoksi, suositella sitä ehdollisesti, neuvoa sitä vastaan tai jättää sen pois, vaikka se sopisi hyvin kriteereihin.

CHI 2025 -konferenssissa esitetty tutkimus osoitti, että hienovaraiset sanamuutokset voivat vaikuttaa siihen, esiintyvätkö kohdekäsitteet ja brändit suosituksissa. Tämä ei tarkoita, että jokainen pieni kehotteen muutos kumoaisi tuloksen. Se osoittaa, miksi suositusta tulisi arvioida tiettyä skenaariota vasten, eikä sitä pidä käsitellä mallin yleisenä ominaisuutena.

5. Attribuutit, kehystys ja sentimentti

Brändiä voidaan kuvata innovatiivisena, helposti lähestyttävänä, premium-luokkaisena, paikallisena, turvallisena, erikoistuneena tai vanhentuneena. Nämä attribuutit muokkaavat vastausta, mutta yksittäinen sentimenttietiketti ei voi vangita koko representaatiota.

Positiivinen vastaus voi silti vahvistaa ei-toivottua asemaa. Esimerkiksi yrityspalveluntarjoajaa saatetaan kehua, mutta sitä kuvataan yksinomaan edullisena vaihtoehtona pienyrityksille. Analyysin tulisi siksi kattaa annetut attribuutit, valintaperusteet, varoitukset, sävy ja yhdenmukaisuus brändin vahvistetun aseman kanssa.

Positiivinen sentimentti ei takaa tarkkaa representaatiota.

6. Kilpailukonteksti

Mallit eivät aina vertaa brändiä kilpailijoihin, jotka yritys itse tunnistaisi. Vastaukset voivat sisältää suoria kilpailijoita, brändejä viereisistä kategorioista, eri hintasegmenttejä palvelevia tarjoajia, lähteissä samanaikaisesti esiintyviä yrityksiä tai toiminnallisina vaihtoehtoina käsiteltyjä organisaatioita.

Tämä paljastaa, miten järjestelmä rakentaa kategorian ja käytettävissä olevat valinnat. Samanaikaisesti mainittu brändi voi kuitenkin olla kumppani, jakelija tai lähde pikemminkin kuin kilpailija. Samanaikainen esiintyminen, vertailu ja aito suositus tulisi erottaa toisistaan.

7. Näkyvät lähteet ja viittaukset

Kun lähteet näytetään, ne voivat sisältää brändin verkkosivuston, jakelijat, median, vertailusivustot, dokumentaation, kilpailijoiden sivut tai vanhentuneet materiaalit.

Kaksi varoitusta on tarpeen. Ensinnäkin, näkyvät lähteet eivät välttämättä paljasta kaikkia vastauksen muokanneita tekijöitä. Toiseksi, viittaus ei todista, että lähde tukee sen vieressä olevaa väitettä. Generatiivisten hakukoneiden todennettavuutta koskeva tutkimus käsittelee viittauksen läsnäoloa ja sen todellista tukea väitteelle erillisinä kysymyksinä.

Auditoinnin tulisi siksi tutkia sekä lähteen alkuperää että sen suhdetta esitettyyn väitteeseen.

Jokainen ongelma ei ole hallusinaatio

Hallusinaatio on tunnetuin nimitys generatiivisen tekoälyn virheille, mutta sen ei pitäisi kuvata jokaista epäsuotuisaa tulosta. NIST käyttää termiä "konfabulaatio" itsevarmasti esitetystä väärästä tai virheellisestä sisällöstä. Brändin representaatiotutkimus vaatii laajemman luokittelun:

• faktuaalinen hallusinaatio – väite on ristiriidassa faktojen kanssa;

• perusteeton väite – saatavilla oleva näyttö ei tue sitä;

• vanhentunut tieto – aiemmin oikea väite ei ole enää ajankohtainen;

• entiteettien yhdistäminen – tietoja eri entiteeteistä yhdistetään;

• luokitteluvirhe – brändi sijoitetaan väärään kategoriaan;

• puute – merkittävä fakta tai osa tarjouksesta puuttuu;

• vääristymä tai yksinkertaistaminen – lausunto muuttaa merkitystä olematta täysin väärä;

• suosituksen epäjohdonmukaisuus – brändiä suositellaan, vaikka se ei täytä kriteerejä;

• asemoinnin epäyhdenmukaisuus – representaatio poikkeaa brändin vahvistetusta identiteetistä ja nykyisestä asemasta.

Hallusinaatiot ovat yksi osa laajempaa brändin representaatio-ongelmien kategoriaa. Väärä väite, puuttuva tuote, sekoittunut entiteetti ja väärin sijoitettu suositus vaativat erilaisia vastauksia.

Miksi brändin representaatio voi muuttua?

Generoidut vastaukset riippuvat niiden ehdoista: sanamuodosta, käyttäjän tarkoituksesta, kielestä, sijainnista, keskusteluhistoriasta, mallista, käyttöliittymästä, pääsystä hakuun, saatavilla olevista lähteistä, päivämäärästä ja itse generoinnin vaihtelevuudesta.

Suuri tutkimus, joka julkaistiin Transactions of the Association for Computational Linguistics -lehdessä, osoitti, että parafraasoidut ohjeet voivat tuottaa olennaisesti erilaisia mallituloksia. Se kattoi monia malleja ja tehtäviä, ei pelkästään brändejä, mutta tarjoaa vahvaa näyttöä kehotteen herkkyydestä.

Kolme ilmiötä tulisi siksi erottaa:

• skenaarion tai kehotteen herkkyys – kysymystä muutetaan;

• tulosteen vaihtelevuus – sama skenaario toistetaan samoissa olosuhteissa;

• muutos ajan myötä – testi toistetaan sen jälkeen, kun mallit, lähteet tai bränditiedot ovat saattaneet muuttua.

Yksittäinen vastaus on todiste siitä, mitä tietty järjestelmä palautti määritellyissä olosuhteissa. Se ei ole todiste vakaasta mallin mielipiteestä tai takuu tulevista vastauksista.

Seuranta ajan mittaan ei ole automaattisesti vakauden testi. Se osoittaa eroja mittausten välillä, mutta ei korvaa toistuvia ajoja identtisissä olosuhteissa.

Miten brändin representaatiota tulisi tutkia?

Vastuullisen tutkimuksen tulisi alkaa määrittelemällä entiteetti ja viitekehys, jota vasten tuloksia arvioidaan.

1. Määrittele brändi-identiteetti

Luo ajantasainen tiedosto organisaatiosta, tuotteista, palveluista, yleisöistä, markkinoista, attribuuteista, kilpailijoista ja tarkastelua vaativista faktoista. Erota faktat toiveista ja mainosväitteistä.

2. Suunnittele realistisia skenaarioita

Skenaarioiden tulisi heijastaa todellisia tieto- tai päätöksentekotarpeita: palveluntarjoajan löytäminen, ratkaisujen vertailu, maineen tarkistaminen, tuotteen valitseminen tai vaihtoehtojen tunnistaminen. Tämä ei ole perinteinen avainsanalista. Sama aihe voi vaatia erilaisia skenaarioita eri yleisöille ja päätöksentekovaiheille.

3. Tallenna tutkimusympäristö

Dokumentoi malli, käyttöliittymä, kieli, päivämäärä, internet-yhteys ja ajojen määrä. Ilman näitä yksityiskohtia myöhempi vertailu muuttuu epäluotettavaksi.

4. Säilytä todisteet

Aggregoidut tulokset eivät saa korvata täydellisiä vastauksia. Säilytä lokit, asiaankuuluvat otteet, lähteet ja viittaukset, jotta jokainen johtopäätös voidaan jäljittää sen todisteisiin.

5. Analysoi ulottuvuudet erikseen

Läsnäolo, suositus, sentimentti, attribuutit, kilpailijat, lähteet ja tarkkuus vastaavat eri kysymyksiin. Niiden yhdistäminen yhdeksi pisteeksi voi piilottaa pääongelman. Erittäin näkyvä brändi voidaan silti sijoittaa väärään kategoriaan, menettää suosituksia, sitä voidaan kuvata vanhentuneilla tiedoilla tai se voidaan yhdistää väärään yleisöön.

6. Ilmoita rajoitukset

Johtopäätösten on vastattava laajuutta. Viiden mallin tutkimus ei kuvaa jokaista tekoälyjärjestelmää; testi yhdellä kielellä ei vahvista identtistä representaatiota muilla markkinoilla. Brand Semantics tarjoaa laajemman oppaan tekoälyn näkyvyysauditoinnin suorittamiseen tekoälyhakualustoilla.

Mitä tämä tutkimus voi kertoa brändille?

Hyvin suunniteltu tutkimus voi osoittaa, tunnistetaanko brändi, mikä rooli sillä on, mihin tarpeisiin ja yleisöihin se liitetään, milloin sitä suositellaan, mitkä kilpailijat esiintyvät ja missä virheitä tai vääristymiä esiintyy.

Se ei yksinään voi selvittää, mitä jokainen käyttäjä näkee, miten ihmiset kokevat brändin, muuttiko vastaus ostopäätöstä tai mikä sen suora myyntivaikutus on. Nämä kysymykset vaativat lisäliikennettä, konversiota, attribuutiota tai kvalitatiivista tutkimusta.

Miten Semantio analysoi brändin representaatiota?

Semantio on tutkimusalusta, jolla analysoidaan ja seurataan, miten suuret kielimallit kuvailevat, vertailevat ja suosittelevat brändejä – ja missä ne tuottavat virheitä, epätarkkuuksia tai muita representaatio-ongelmia.

Tutkimus voi kattaa brändimaininnat, roolin, suositukset, attribuutit, sentimentin, tuotteet, yleisöt, kilpailijat, lähteet ja viittaukset, jos saatavilla, sekä väitteiden johdonmukaisuuden brändin määritellyn identiteetin kanssa.

Käyttäjät voivat siirtyä aggregoiduista löydöksistä yksittäisiin vastauksiin ja niitä tukeviin todisteisiin. Brändin representaatiota ei siis pelkistetä yhteen sijoitukseen tai läpinäkymättömään pisteeseen.

Luo tili ja näe, miten kielimallit edustavat brändiäsi.

Usein kysytyt kysymykset

Onko brändin representaatio sama asia kuin tekoälyn näkyvyys?

Ei. Näkyvyys kysyy, esiintyykö brändi. Representaatio kattaa myös sen roolin, suositukset, attribuutit, tarjouksen, yleisöt, kilpailijat ja faktuaalisen tarkkuuden.

Onko LLM:llä vakaa mielipide brändistä?

Tällaista johtopäätöstä ei pidä tehdä. Vastaus on tietyn järjestelmän tuotos tietyissä olosuhteissa ja se voi vaihdella skenaarion, mallin, kielen, lähteiden ja päivämäärän mukaan.

Voiko erittäin näkyvä brändi silti olla huonosti edustettuna?

Kyllä. Se voi esiintyä usein, mutta se voidaan sijoittaa väärään kategoriaan, yhdistää vanhentuneeseen tarjoukseen tai suositella väärälle yleisölle.

Onko jokainen virheellinen vastaus hallusinaatio?

Ei. Ongelma voi olla sen sijaan vanhentunut tieto, entiteettien yhdistäminen, virheellinen luokittelu, puute, yksinkertaistaminen tai suositus, joka ei vastaa kriteerejä.