Kas yra prekės ženklo reprezentacija dideliuose kalbos modeliuose?

Prekės ženklas gali pasirodyti dirbtinio intelekto sugeneruotame atsakyme ir vis tiek būti neteisingai reprezentuojamas.

Modelis gali paminėti įmonę, bet priskirti ją netinkamai kategorijai, rekomenduoti jos produktą netinkamai auditorijai, lyginti su nesusijusiais konkurentais arba kartoti pasenusią informaciją.

Kiekvienu atveju prekės ženklas yra matomas. Problema yra ta, ką iš tikrųjų reiškia tas matomumas.

Todėl nepakanka patikrinti, ar prekės ženklas buvo paminėtas. Matomumas yra viena prekės ženklo reprezentacijos dimensija, o ne išsamus jos aprašymas.

Prekės ženklo reprezentacijos apibrėžimas dideliuose kalbos modeliuose

Prekės ženklo reprezentacija dideliuose kalbos modeliuose yra stebimas būdas, kuriuo konkreti LLM pagrindu veikianti sistema identifikuoja, apibūdina, kategorizuoja, lygina, rekomenduoja ir vizualiai pagrindžia prekės ženklą, reaguodama į apibrėžtą scenarijų, kalbą, laiką ir aplinką.

Reprezentacija apima tiek tai, kas pasirodo atsakyme, tiek ir bet kokius reikšmingus praleidimus, iškraipymus ar klaidas. Ji apima:

• prekės ženklui priskirtą vaidmenį;

• su juo susijusius produktus, paslaugas ir auditorijas;

• atributus, naudojamus jam apibūdinti;

• ar ir kokiomis sąlygomis jis rekomenduojamas;

• konkurentus, su kuriais jis lyginamas;

• šaltinius, rodomus kartu su atsakymu;

• ar informacija yra aktuali ir faktiškai teisinga.

Dar nėra vieno visuotinai pripažinto akademinio LLM prekės ženklo reprezentacijos apibrėžimo. Tyrimai atskirai nagrinėjo jos komponentus, įskaitant matomumą generatyviuose varikliuose, rekomendacijas, prekės ženklo atributus, raginimo jautrumą, citatas ir tikslumą. EMNLP tyrimai taip pat dokumentavo skirtumus, kaip kalbos modeliai sieja ir rekomenduoja prekės ženklus.

Prekės ženklo reprezentacija sujungia šiuos komponentus kaip daugiamatį tyrimo objektą.

Ką mes iš tikrųjų stebime?

Kalba apie reprezentaciją „modelyje“ yra patogus sutrumpinimas. Praktiškai vartotojai susiduria su platesne sistema, kuri gali apimti:

• pagrindinį modelį;

• sistemos instrukcijas;

• klausimą ir ankstesnį pokalbį;

• produkto sąsają ir jos nustatymus;

• paieškos ar paieškos mechanizmus;

• galimus šaltinius;

• užklausos pateikimo laiką.

Ne kiekvienas modelis turi prieigą prie interneto, naudoja išorinę paiešką ar rodo citatas. Per API gauti rezultatai taip pat gali skirtis nuo atsakymų, gautų naudojant vartotojams skirtą programą, turinčią tą patį modelio prekės ženklą.

Tyrimai, susiję su paieška papildyta generacija (Retrieval-Augmented Generation), skiria modelyje užkoduotas žinias nuo informacijos, gautos iš išorinių šaltinių. Tai nereiškia, kad kiekviena komercinė sistema naudoja tą pačią architektūrą. Todėl bet koks prekės ženklo reprezentacijos tyrimas turėtų nurodyti, kuris modelis, sistema, sąsaja ir atsako režimas buvo išbandyti.

Mes taip pat nematuojame, ką modelis „galvoja“. Modeliai neturi nuomonių žmogiškąja prasme. Mes stebime išvestis ir jų savybes. Šis skirtumas padeda išvengti antropomorfinės kalbos, o tai yra susirūpinimas, pažymėtas NIST generatyvinio dirbtinio intelekto profilyje.

Prekės ženklo reprezentacija ir susijusios sąvokos

Prekės ženklo reprezentacija persidengia su pažįstamomis rinkodaros ir tyrimų sritimis, tačiau ji nėra identiška nė vienai iš jų.

Tradicinė paieškos sistema pateikia dokumentus. Generatyvinė sistema gali sukurti vieną atsakymą, kuriame prekės ženklas yra apibūdinamas, praleidžiamas, lyginamas ar rekomenduojamas. Jo buvimas neturėtų būti redukuojamas į kitokio tipo reitingavimą.

Septynios prekės ženklo reprezentacijos dimensijos

1. Buvimas ir subjekto identifikavimas

Pirmas klausimas yra, ar prekės ženklas pasirodo. Antrasis – ar sistema identifikavo teisingą subjektą.

Modelis gali sujungti informaciją apie atskiras organizacijas arba supainioti patronuojančią įmonę, vietinį filialą, produktų liniją ir platintoją. Todėl atsakyme pasirodęs pavadinimas nėra teisingos reprezentacijos įrodymas. Subjektas ir jo ryšiai taip pat turi būti tikslūs.

2. Vaidmuo, kategorija ir pozicija

Prekės ženklas gali pasirodyti kaip tiekėjas, gamintojas, ekspertų šaltinis, pavyzdys, partneris, konkurentas, alternatyva ar įspėjimas. Šie vaidmenys nėra lygiaverčiai. Įmonė gali būti dažnai cituojama kaip pramonės informacijos šaltinis, tačiau niekada neatsirasti tarp rekomenduojamų tiekėjų. Ji taip pat gali būti priskirta kategorijai, su kuria nenori būti siejama.

Reprezentacija susijusi ne tik su buvimu, bet ir su funkcija, kurią prekės ženklas atlieka atsakyme.

3. Produktai, paslaugos ir auditorijos

Sistema gali žinoti pagrindinį produktą, tačiau nepastebėti kitų verslo linijų. Ji gali praleisti prekės ženklo B2B paslaugas, priskirti paslaugą netinkamai auditorijai arba apibūdinti regioninį pasiūlymą kaip prieinamą visame pasaulyje.

Todėl analizė turėtų klausti, kokie produktai ir paslaugos priskiriami prekės ženklui, kurie lieka neįtraukti, kokie klientų poreikiai su juo siejami ir ar nurodyta pasiūlos apimtis yra aktuali.

Du atsakymai gali minėti tą patį pavadinimą, tačiau apibūdinti dvi iš esmės skirtingas prekės ženklo versijas.

4. Rekomendacija ir scenarijaus tinkamumas

Paminėti prekės ženklą nėra tas pats, kas jį rekomenduoti. Sistema gali įtraukti jį tarp daugelio variantų, įtraukti į trumpąjį sąrašą, identifikuoti kaip geriausią pasirinkimą, rekomenduoti jį sąlyginai, patarti jo vengti arba praleisti, nepaisant didelio atitikimo kriterijams.

CHI 2025 pristatytas tyrimas parodė, kad subtilūs formuluotės pakeitimai gali paveikti, ar tikslinės sąvokos ir prekės ženklai pasirodo rekomendacijose. Tai nereiškia, kad kiekvienas mažas raginimo pakeitimas pakeis rezultatą. Tai rodo, kodėl rekomendacija turėtų būti vertinama pagal konkretų scenarijų, o ne traktuojama kaip universali modelio savybė.

5. Atributai, įrėminimas ir nuotaika

Prekės ženklas gali būti apibūdinamas kaip inovatyvus, prieinamas, aukščiausios klasės, vietinis, saugus, specializuotas ar pasenęs. Šie atributai formuoja atsakymą, tačiau vienas nuotaikos žymuo negali apimti visos reprezentacijos.

Teigiamas atsakymas vis tiek gali sustiprinti nepageidaujamą pozicionavimą. Pavyzdžiui, įmonės tiekėjas gali būti giriamas, bet apibūdinamas išskirtinai kaip pigus variantas mažoms įmonėms. Todėl analizė turėtų apimti priskirtus atributus, pasirinkimo priežastis, įspėjimus, toną ir atitikimą prekės ženklo patvirtintam pozicionavimui.

Teigiama nuotaika negarantuoja tikslios reprezentacijos.

6. Konkurencinis kontekstas

Modeliai ne visada lygina prekės ženklą su konkurentais, kuriuos pati įmonė identifikuotų. Atsakymuose gali būti tiesioginių konkurentų, prekės ženklų iš gretimų kategorijų, tiekėjų, aptarnaujančių skirtingus kainų segmentus, įmonių, kurios kartu pasirodo šaltiniuose, arba organizacijų, traktuojamų kaip funkcinės alternatyvos.

Tai atskleidžia, kaip sistema konstruoja kategoriją ir galimą pasirinkimų rinkinį. Tačiau kartu paminėtas prekės ženklas gali būti partneris, platintojas ar šaltinis, o ne konkurentas. Reikėtų atskirti bendrą pasirodymą, palyginimą ir tikrą rekomendaciją.

7. Matomi šaltiniai ir citatos

Kai rodomi šaltiniai, jie gali apimti prekės ženklo svetainę, platintojus, žiniasklaidą, palyginimo svetaines, dokumentaciją, konkurentų puslapius ar pasenusią medžiagą.

Reikalingi du įspėjimai. Pirma, matomi šaltiniai nebūtinai atskleidžia kiekvieną veiksnį, kuris formavo atsakymą. Antra, citata neįrodo, kad šaltinis patvirtina šalia jos esantį teiginį. Tyrimai, susiję su patikrinamumu generatyvinėse paieškos sistemose, traktuoja citatos buvimą ir jos faktinį teiginio palaikymą kaip atskirus klausimus.

Todėl auditas turėtų nagrinėti tiek šaltinio kilmę, tiek jo ryšį su pateikiamu teiginiu.

Ne kiekviena problema yra haliucinacija

Haliucinacija yra geriausiai žinomas generatyvinio dirbtinio intelekto klaidų pavadinimas, tačiau ji neturėtų apibūdinti kiekvieno nepalankaus rezultato. NIST naudoja terminą „konfabuliacija“, apibūdindamas užtikrintai pateiktą melagingą ar klaidingą turinį. Prekės ženklo reprezentacijos tyrimams reikalingas platesnis kategorijų rinkinys:

• faktinė haliucinacija – teiginys prieštarauja faktams;

• nepagrįstas teiginys – turimi įrodymai jo nepatvirtina;

• pasenusi informacija – anksčiau teisingas teiginys nebėra aktualus;

• subjektų susiliejimas – informacija apie skirtingus subjektus yra sujungta;

• klasifikavimo klaida – prekės ženklas priskiriamas netinkamai kategorijai;

• praleidimas – reikšmingas faktas ar pasiūlos dalis yra praleista;

• iškraipymas ar supaprastinimas – teiginys keičia prasmę, nebūdamas visiškai klaidingas;

• rekomendacijos neatitikimas – prekės ženklas rekomenduojamas, nepaisant to, kad neatitinka kriterijų;

• pozicionavimo neatitikimas – reprezentacija skiriasi nuo prekės ženklo patvirtintos tapatybės ir dabartinio pozicionavimo.

Haliucinacijos yra viena iš platesnės prekės ženklo reprezentacijos problemų kategorijos dalių. Klaidingas teiginys, trūkstamas produktas, supainiotas subjektas ir netinkama rekomendacija reikalauja skirtingų atsakymų.

Kodėl prekės ženklo reprezentacija gali keistis?

Sugeneruoti atsakymai priklauso nuo jų sąlygų: formuluotės, vartotojo ketinimų, kalbos, vietos, pokalbių istorijos, modelio, sąsajos, prieigos prie paieškos, galimų šaltinių, datos ir pačios generacijos kintamumo.

Didelis tyrimas, paskelbtas žurnale Transactions of the Association for Computational Linguistics, parodė, kad perrašytos instrukcijos gali duoti iš esmės skirtingus modelio rezultatus. Jis apėmė daugelį modelių ir užduočių, o ne tik prekės ženklus, tačiau pateikia tvirtų įrodymų apie raginimo jautrumą.

Todėl reikėtų atskirti tris reiškinius:

• scenarijaus ar raginimo jautrumas – klausimas pakeičiamas;

• išvesties kintamumas – tas pats scenarijus kartojamas tomis pačiomis sąlygomis;

• pokyčiai laikui bėgant – testas kartojamas po to, kai modeliai, šaltiniai ar prekės ženklo informacija galėjo pasikeisti.

Vienas atsakymas yra įrodymas, ką konkreti sistema grąžino apibrėžtomis sąlygomis. Tai nėra stabilaus modelio nuomonės įrodymas ar būsimų atsakymų garantija.

Stebėjimas laikui bėgant nėra automatiškai stabilumo testas. Jis rodo skirtumus tarp matavimų, bet nepakeičia pakartotinių vykdymų identiškomis sąlygomis.

Kaip reikėtų tirti prekės ženklo reprezentaciją?

Atsakingas tyrimas turėtų prasidėti apibrėžiant subjektą ir etaloną, pagal kurį bus vertinami rezultatai.

1. Apibrėžkite prekės ženklo tapatybę

Sukurkite dabartinį organizacijos, produktų, paslaugų, auditorijų, rinkų, atributų, konkurentų ir faktų, kuriuos reikia kruopščiai išnagrinėti, įrašą. Atskirkite faktus nuo siekių ir reklaminių teiginių.

2. Sukurkite realistiškus scenarijus

Scenarijai turėtų atspindėti tikrus informacijos ar sprendimų poreikius: tiekėjo paiešką, sprendimų palyginimą, reputacijos tikrinimą, produkto pasirinkimą ar alternatyvų nustatymą. Tai nėra įprastas raktinių žodžių sąrašas. Tas pats dalykas gali reikalauti skirtingų scenarijų skirtingoms auditorijoms ir sprendimų etapams.

3. Užfiksuokite tyrimo aplinką

Dokumentuokite modelį, sąsają, kalbą, datą, prieigą prie interneto ir vykdymų skaičių. Be šių detalių vėlesnis palyginimas tampa nepatikimas.

4. Išsaugokite įrodymus

Apibendrinti rezultatai neturėtų pakeisti visų atsakymų. Išsaugokite žurnalus, atitinkamas ištraukas, šaltinius ir citatas, kad kiekviena išvada galėtų būti atsekta iki jos įrodymų.

5. Analizuokite dimensijas atskirai

Buvimas, rekomendacija, nuotaika, atributai, konkurentai, šaltiniai ir tikslumas atsako į skirtingus klausimus. Jų sujungimas į vieną balą gali paslėpti pagrindinę problemą. Labai matomas prekės ženklas vis tiek gali būti priskirtas netinkamai kategorijai, prarasti rekomendacijas, būti apibūdintas naudojant pasenusią informaciją arba būti siejamas su netinkama auditorija.

6. Nurodykite apribojimus

Išvados turi atitikti apimtį. Penkių modelių tyrimas neapibūdina kiekvienos dirbtinio intelekto sistemos; testas viena kalba nenustato identiškos reprezentacijos kitose rinkose. „Brand Semantics“ pateikia platesnį vadovą, kaip atlikti dirbtinio intelekto matomumo auditą visose dirbtinio intelekto paieškos platformose.

Ką šis tyrimas gali pasakyti prekės ženklui?

Gerai suplanuotas tyrimas gali parodyti, ar prekės ženklas yra atpažįstamas, kokį vaidmenį jis atlieka, su kokiais poreikiais ir auditorijomis jis siejamas, kada jis rekomenduojamas, kokie konkurentai pasirodo ir kur atsiranda klaidų ar iškraipymų.

Pats savaime jis negali nustatyti, ką matys kiekvienas vartotojas, kaip žmonės suvokia prekės ženklą, ar atsakymas pakeitė pirkimo sprendimą ar koks bus jo tiesioginis pardavimų poveikis. Šiems klausimams reikia papildomų srauto, konversijos, priskyrimo ar kokybinių tyrimų.

Kaip „Semantio“ analizuoja prekės ženklo reprezentaciją?

„Semantio“ yra tyrimų platforma, skirta analizuoti ir stebėti, kaip dideli kalbos modeliai apibūdina, lygina ir rekomenduoja prekės ženklus – ir kur jie generuoja klaidas, netikslumus ar kitas reprezentacijos problemas.

Tyrimas gali apimti prekės ženklo paminėjimus, vaidmenį, rekomendacijas, atributus, nuotaiką, produktus, auditorijas, konkurentus, šaltinius ir citatas (jei yra), taip pat teiginių nuoseklumą su prekės ženklo apibrėžta tapatybe.

Vartotojai gali pereiti nuo apibendrintų išvadų prie individualių atsakymų ir juos patvirtinančių įrodymų. Todėl prekės ženklo reprezentacija nėra redukuojama į vieną reitingą ar neaiškų balą.

Sukurkite paskyrą ir pamatykite, kaip kalbos modeliai reprezentuoja jūsų prekės ženklą.

Dažnai užduodami klausimai

Ar prekės ženklo reprezentacija yra tas pats, kas AI matomumas?

Ne. Matomumas klausia, ar prekės ženklas pasirodo. Reprezentacija taip pat apima jo vaidmenį, rekomendacijas, atributus, pasiūlą, auditorijas, konkurentus ir faktinį tikslumą.

Ar LLM turi stabilią nuomonę apie prekės ženklą?

Tokios išvados daryti nereikėtų. Atsakymas yra konkrečios sistemos išvestis konkrečiomis sąlygomis ir gali skirtis priklausomai nuo scenarijaus, modelio, kalbos, šaltinių ir datos.

Ar labai matomas prekės ženklas vis dar gali būti prastai reprezentuojamas?

Taip. Jis gali dažnai pasirodyti, tačiau būti priskirtas netinkamai kategorijai, susijęs su pasenusiu pasiūlymu arba rekomenduojamas netinkamai auditorijai.

Ar kiekvienas neteisingas atsakymas yra haliucinacija?

Ne. Problema gali būti pasenusi informacija, subjektų susiliejimas, klaidinga klasifikacija, praleidimas, supaprastinimas arba rekomendacija, kuri neatitinka kriterijų.