Was ist Markenrepräsentation in großen Sprachmodellen?

Eine Marke kann in einer KI-generierten Antwort erscheinen und dennoch falsch dargestellt werden.

Ein Modell kann ein Unternehmen erwähnen, es aber in die falsche Kategorie einordnen, sein Produkt der falschen Zielgruppe empfehlen, es mit irrelevanten Wettbewerbern vergleichen oder veraltete Informationen wiederholen.

In jedem Fall ist die Marke sichtbar. Das Problem ist, was diese Sichtbarkeit tatsächlich bedeutet.

Es reicht daher nicht aus, zu prüfen, ob eine Marke erwähnt wurde. Sichtbarkeit ist eine Dimension der Markenrepräsentation, nicht ihre vollständige Beschreibung.

Definition der Markenrepräsentation in LLMs

Markenrepräsentation in großen Sprachmodellen ist die beobachtbare Art und Weise, wie ein bestimmtes LLM-basiertes System eine Marke als Reaktion auf ein definiertes Szenario, eine Sprache, einen Zeitpunkt und eine Umgebung identifiziert, beschreibt, kategorisiert, vergleicht, empfiehlt und sichtbar untermauert.

Die Repräsentation umfasst sowohl das, was in der Antwort erscheint, als auch alle wesentlichen Auslassungen, Verzerrungen oder Fehler. Sie deckt ab:

• die der Marke zugewiesene Rolle;

• die damit verbundenen Produkte, Dienstleistungen und Zielgruppen;

• die zur Beschreibung verwendeten Attribute;

• ob und unter welchen Bedingungen sie empfohlen wird;

• die Wettbewerber, mit denen sie verglichen wird;

• die neben der Antwort angezeigten Quellen;

• ob die Informationen aktuell und sachlich korrekt sind.

Es gibt noch keine allgemein anerkannte akademische Definition der LLM-Markenrepräsentation. Die Forschung hat ihre Komponenten separat untersucht, darunter Sichtbarkeit in generativen Engines, Empfehlungen, Markenattribute, Prompt-Sensitivität, Zitate und Genauigkeit. Die EMNLP-Forschung hat auch Unterschiede in der Art und Weise dokumentiert, wie Sprachmodelle Marken assoziieren und empfehlen.

Markenrepräsentation führt diese Komponenten als mehrdimensionales Forschungsobjekt zusammen.

Was beobachten wir eigentlich?

Von Repräsentation „in einem Modell“ zu sprechen, ist eine bequeme Kurzform. In der Praxis begegnen Nutzer einem breiteren System, das Folgendes umfassen kann:

• das zugrunde liegende Modell;

• Systemanweisungen;

• die Frage und die vorangegangene Konversation;

• die Produktoberfläche und ihre Einstellungen;

• Such- oder Abrufmechanismen;

• verfügbare Quellen;

• den Zeitpunkt der Abfrage.

Nicht jedes Modell hat Internetzugang, verwendet externe Abrufe oder zeigt Zitate an. Ergebnisse, die über eine API erzielt werden, können auch von Antworten abweichen, die von einer Verbraucheranwendung mit demselben Modellnamen erzeugt werden.

Die Forschung zur Retrieval-Augmented Generation unterscheidet zwischen Wissen, das in Modellparametern kodiert ist, und Informationen, die aus externen Ressourcen abgerufen werden. Dies bedeutet nicht, dass jedes kommerzielle System dieselbe Architektur verwendet. Jede Studie zur Markenrepräsentation sollte daher angeben, welches Modell, System, welche Schnittstelle und welcher Antwortmodus getestet wurden.

Wir messen auch nicht, was ein Modell „denkt“. Modelle haben keine Meinungen im menschlichen Sinne. Wir beobachten Ausgaben und ihre Eigenschaften. Diese Unterscheidung hilft, anthropomorphe Sprache zu vermeiden, ein Anliegen, das im NIST Generative AI Profile vermerkt ist.

Markenrepräsentation und verwandte Konzepte

Markenrepräsentation überschneidet sich mit bekannten Bereichen des Marketings und der Forschung, ist aber nicht identisch mit ihnen.

Eine traditionelle Suchmaschine präsentiert Dokumente. Ein generatives System kann eine Antwort erstellen, in der eine Marke beschrieben, weggelassen, verglichen oder empfohlen wird. Ihre Präsenz sollte nicht auf eine andere Art von Ranking reduziert werden.

Sieben Dimensionen der Markenrepräsentation

1. Präsenz und Entitätsidentifikation

Die erste Frage ist, ob die Marke erscheint. Die zweite ist, ob das System die richtige Entität identifiziert hat.

Ein Modell kann Informationen über getrennte Organisationen kombinieren oder ein Mutterunternehmen, eine lokale Tochtergesellschaft, eine Produktlinie und einen Distributor verwechseln. Ein Name, der in einer Antwort erscheint, ist daher kein Beweis für eine korrekte Repräsentation. Die Entität und ihre Beziehungen müssen ebenfalls korrekt sein.

2. Rolle, Kategorie und Position

Eine Marke kann als Anbieter, Hersteller, Expertenquelle, Beispiel, Partner, Wettbewerber, Alternative oder Warnung erscheinen. Diese Rollen sind nicht gleichwertig. Ein Unternehmen kann häufig als Quelle für Brancheninformationen zitiert werden, während es nie unter den empfohlenen Anbietern erscheint. Es kann auch in eine Kategorie eingeordnet werden, mit der es nicht in Verbindung gebracht werden möchte.

Repräsentation betrifft nicht nur die Präsenz, sondern auch die Funktion, die die Marke innerhalb der Antwort erfüllt.

3. Produkte, Dienstleistungen und Zielgruppen

Ein System kann ein Flaggschiffprodukt kennen, während es andere Geschäftsbereiche übersieht. Es kann die B2B-Dienstleistungen der Marke übersehen, eine Dienstleistung der falschen Zielgruppe zuordnen oder ein regionales Angebot als weltweit verfügbar beschreiben.

Die Analyse sollte daher fragen, welche Produkte und Dienstleistungen der Marke zugeschrieben werden, welche fehlen, welche Kundenbedürfnisse damit verbunden sind und ob der angegebene Umfang des Angebots aktuell ist.

Zwei Antworten können denselben Namen erwähnen, während sie zwei wesentlich unterschiedliche Versionen der Marke beschreiben.

4. Empfehlung und Szenario-Passung

Eine Marke zu erwähnen ist nicht dasselbe wie sie zu empfehlen. Ein System kann sie unter vielen Optionen auflisten, sie auf eine Shortlist setzen, sie als beste Wahl identifizieren, sie bedingt empfehlen, davon abraten oder sie trotz einer starken Übereinstimmung mit den Kriterien weglassen.

Forschung, die auf der CHI 2025 vorgestellt wurde, ergab, dass subtile Änderungen in der Formulierung beeinflussen können, ob Zielkonzepte und Marken in Empfehlungen erscheinen. Dies bedeutet nicht, dass jede kleine Prompt-Änderung ein Ergebnis umkehrt. Es zeigt jedoch, warum eine Empfehlung anhand eines bestimmten Szenarios bewertet werden sollte, anstatt sie als universelle Eigenschaft eines Modells zu behandeln.

5. Attribute, Framing und Sentiment

Eine Marke kann als innovativ, zugänglich, Premium, lokal, sicher, spezialisiert oder veraltet beschrieben werden. Diese Attribute prägen die Antwort, aber ein einzelnes Sentiment-Label kann die gesamte Repräsentation nicht erfassen.

Eine positive Antwort kann dennoch eine unerwünschte Positionierung verstärken. Zum Beispiel könnte ein Unternehmensanbieter gelobt, aber ausschließlich als kostengünstige Option für kleine Unternehmen beschrieben werden. Die Analyse sollte daher zugewiesene Attribute, Gründe für die Auswahl, Vorbehalte, Ton und Übereinstimmung mit der verifizierten Positionierung der Marke abdecken.

Positives Sentiment garantiert keine genaue Repräsentation.

6. Wettbewerbskontext

Modelle vergleichen eine Marke nicht immer mit den Wettbewerbern, die das Unternehmen selbst identifizieren würde. Antworten können direkte Rivalen, Marken aus angrenzenden Kategorien, Anbieter, die verschiedene Preissegmente bedienen, Unternehmen, die in Quellen gemeinsam vorkommen, oder Organisationen, die als funktionale Alternativen behandelt werden, umfassen.

Dies zeigt, wie das System die Kategorie und die verfügbaren Auswahlmöglichkeiten konstruiert. Eine gemeinsam erwähnte Marke kann jedoch ein Partner, Distributor oder eine Quelle und kein Wettbewerber sein. Gemeinsames Vorkommen, Vergleich und echte Empfehlung sollten unterschieden werden.

7. Sichtbare Quellen und Zitate

Wo Quellen angezeigt werden, können sie die Website der Marke, Distributoren, Medien, Vergleichsseiten, Dokumentationen, Wettbewerberseiten oder veraltete Materialien umfassen.

Zwei Vorsichtsmaßnahmen sind notwendig. Erstens geben sichtbare Quellen nicht unbedingt jeden Faktor preis, der eine Antwort geprägt hat. Zweitens beweist ein Zitat nicht, dass die Quelle die daneben stehende Behauptung stützt. Die Forschung zur Überprüfbarkeit in generativen Suchmaschinen behandelt die Anwesenheit eines Zitats und seine tatsächliche Unterstützung einer Aussage als separate Fragen.

Ein Audit sollte daher sowohl den Ursprung einer Quelle als auch ihre Beziehung zur gemachten Behauptung untersuchen.

Nicht jedes Problem ist eine Halluzination

Halluzination ist die bekannteste Bezeichnung für Fehler generativer KI, sollte aber nicht jedes ungünstige Ergebnis beschreiben. NIST verwendet den Begriff „Konfabulation“ für selbstbewusst präsentierte falsche oder fehlerhafte Inhalte. Die Forschung zur Markenrepräsentation erfordert einen breiteren Satz von Kategorien:

• Faktenhalluzination – eine Behauptung widerspricht den Fakten;

• unbelegte Behauptung – verfügbare Beweise untermauern sie nicht;

• veraltete Informationen – eine ehemals korrekte Aussage ist nicht mehr aktuell;

• Entitätsverschmelzung – Informationen über verschiedene Entitäten werden kombiniert;

• Klassifizierungsfehler – die Marke wird in die falsche Kategorie eingeordnet;

• Auslassung – eine wichtige Tatsache oder ein Teil des Angebots fehlt;

• Verzerrung oder Vereinfachung – die Aussage ändert die Bedeutung, ohne gänzlich falsch zu sein;

• Empfehlungs-Fehlanpassung – die Marke wird empfohlen, obwohl sie die Kriterien nicht erfüllt;

• Positionierungs-Fehlausrichtung – die Repräsentation weicht von der verifizierten Identität und aktuellen Positionierung der Marke ab.

Halluzinationen sind ein Teil der breiteren Kategorie von Problemen der Markenrepräsentation. Eine falsche Behauptung, ein fehlendes Produkt, eine verwechselte Entität und eine fehlplatzierte Empfehlung erfordern unterschiedliche Reaktionen.

Warum kann sich die Markenrepräsentation ändern?

Generierte Antworten hängen von ihren Bedingungen ab: Formulierung, Benutzerabsicht, Sprache, Standort, Konversationsverlauf, Modell, Schnittstelle, Zugang zur Suche, verfügbare Quellen, Datum und die Variabilität der Generierung selbst.

Eine große Studie, die in den Transactions of the Association for Computational Linguistics veröffentlicht wurde, ergab, dass paraphrasierte Anweisungen materiell unterschiedliche Modellergebnisse liefern können. Sie umfasste viele Modelle und Aufgaben und nicht nur Marken, liefert aber starke Beweise für die Prompt-Sensitivität.

Drei Phänomene sollten daher getrennt werden:

• Szenario- oder Prompt-Sensitivität – die Frage wird geändert;

• Ausgabevariabilität – dasselbe Szenario wird unter denselben Bedingungen wiederholt;

• Änderung im Laufe der Zeit – der Test wird wiederholt, nachdem sich Modelle, Quellen oder Markeninformationen möglicherweise geändert haben.

Eine einzelne Antwort ist ein Beweis dafür, was ein bestimmtes System unter definierten Bedingungen zurückgegeben hat. Sie ist kein Beweis für eine stabile Modellmeinung oder eine Garantie für zukünftige Antworten.

Die Überwachung im Laufe der Zeit ist nicht automatisch ein Test der Stabilität. Sie zeigt Unterschiede zwischen Messungen, ersetzt aber keine wiederholten Läufe unter identischen Bedingungen.

Wie sollte die Markenrepräsentation untersucht werden?

Eine verantwortungsvolle Studie sollte damit beginnen, die Entität und die Referenz zu definieren, anhand derer die Ergebnisse bewertet werden.

1. Definieren Sie die Markenidentität

Erstellen Sie eine aktuelle Aufzeichnung der Organisation, Produkte, Dienstleistungen, Zielgruppen, Märkte, Attribute, Wettbewerber und Fakten, die einer genauen Prüfung bedürfen. Trennen Sie Fakten von Bestrebungen und Werbeaussagen.

2. Entwerfen Sie realistische Szenarien

Szenarien sollten echte Informations- oder Entscheidungsbedürfnisse widerspiegeln: einen Anbieter finden, Lösungen vergleichen, den Ruf überprüfen, ein Produkt auswählen oder Alternativen identifizieren. Dies ist keine konventionelle Keyword-Liste. Dasselbe Thema kann für verschiedene Zielgruppen und Entscheidungsphasen unterschiedliche Szenarien erfordern.

3. Dokumentieren Sie die Forschungsumgebung

Dokumentieren Sie Modell, Schnittstelle, Sprache, Datum, Internetzugang und Anzahl der Durchläufe. Ohne diese Details wird ein späterer Vergleich unzuverlässig.

4. Bewahren Sie die Beweise auf

Aggregierte Ergebnisse sollten vollständige Antworten nicht ersetzen. Bewahren Sie Protokolle, relevante Auszüge, Quellen und Zitate auf, damit jede Schlussfolgerung auf ihre Beweise zurückgeführt werden kann.

5. Analysieren Sie Dimensionen separat

Präsenz, Empfehlung, Sentiment, Attribute, Wettbewerber, Quellen und Genauigkeit beantworten unterschiedliche Fragen. Sie zu einer einzigen Punktzahl zu kombinieren, kann das Hauptproblem verbergen. Eine sehr sichtbare Marke kann immer noch der falschen Kategorie zugeordnet werden, Empfehlungen verlieren, mit veralteten Informationen beschrieben oder der falschen Zielgruppe zugeordnet werden.

6. Geben Sie die Einschränkungen an

Schlussfolgerungen müssen dem Umfang entsprechen. Eine Studie von fünf Modellen beschreibt nicht jedes KI-System; ein Test in einer Sprache etabliert keine identische Repräsentation in anderen Märkten. Brand Semantics bietet einen umfassenderen Leitfaden zur Durchführung eines KI-Sichtbarkeitsaudits über KI-Suchplattformen hinweg.

Was kann diese Forschung einer Marke sagen?

Eine gut konzipierte Studie kann zeigen, ob eine Marke erkannt wird, welche Rolle sie spielt, mit welchen Bedürfnissen und Zielgruppen sie verbunden ist, wann sie empfohlen wird, welche Wettbewerber erscheinen und wo Fehler oder Verzerrungen auftreten.

Sie kann allein nicht feststellen, was jeder Benutzer sehen wird, wie Menschen die Marke wahrnehmen, ob eine Antwort eine Kaufentscheidung geändert hat oder welche direkten Auswirkungen auf den Umsatz sie haben wird. Diese Fragen erfordern zusätzliche Traffic-, Konversions-, Attributions- oder qualitative Forschung.

Wie analysiert Semantio die Markenrepräsentation?

Semantio ist eine Forschungsplattform zur Analyse und Überwachung, wie große Sprachmodelle Marken beschreiben, vergleichen und empfehlen – und wo sie Fehler, Ungenauigkeiten oder andere Repräsentationsprobleme erzeugen.

Die Forschung kann Markenerwähnungen, Rolle, Empfehlungen, Attribute, Sentiment, Produkte, Zielgruppen, Wettbewerber, Quellen und Zitate, sofern verfügbar, sowie die Konsistenz der Behauptungen mit der definierten Identität der Marke abdecken.

Benutzer können von aggregierten Ergebnissen zu einzelnen Antworten und ihren unterstützenden Beweisen wechseln. Die Markenrepräsentation wird daher nicht auf ein einziges Ranking oder eine undurchsichtige Punktzahl reduziert.

Erstellen Sie ein Konto und sehen Sie, wie Sprachmodelle Ihre Marke repräsentieren.

Häufig gestellte Fragen

Ist Markenrepräsentation dasselbe wie KI-Sichtbarkeit?

Nein. Sichtbarkeit fragt, ob eine Marke erscheint. Repräsentation umfasst auch ihre Rolle, Empfehlungen, Attribute, Angebot, Zielgruppen, Wettbewerber und sachliche Richtigkeit.

Hat ein LLM eine stabile Meinung über eine Marke?

Eine solche Schlussfolgerung sollte nicht gezogen werden. Eine Antwort ist die Ausgabe eines bestimmten Systems unter bestimmten Bedingungen und kann je nach Szenario, Modell, Sprache, Quellen und Datum variieren.

Kann eine sehr sichtbare Marke immer noch schlecht repräsentiert werden?

Ja. Sie kann häufig erscheinen, während sie in die falsche Kategorie eingeordnet, mit einem veralteten Angebot verbunden oder der falschen Zielgruppe empfohlen wird.

Ist jede falsche Antwort eine Halluzination?

Nein. Das Problem kann stattdessen veraltete Informationen, Entitätsverschmelzung, Fehlklassifizierung, Auslassung, Vereinfachung oder eine Empfehlung sein, die nicht den Kriterien entspricht.