Was ist LLM-Brand-Monitoring?

Die Tatsache, dass ChatGPT eine Marke heute in einer Antwort erwähnt hat, bedeutet nicht, dass es dies nächste Woche wieder tun wird. Wir wissen auch nicht, ob Gemini, Claude, Perplexity oder ein anderes System dieselbe Empfehlung abgeben würde.

Eine einzelne Antwort kann eine wertvolle Beobachtung liefern. Es ist jedoch kein Monitoring.

Um festzustellen, ob sich die Präsenz, Darstellung oder Position einer Marke im Verhältnis zu Wettbewerbern ändert, müssen wir vergleichbare Studien wiederholen. Nur eine Reihe von Messungen kann aufzeigen, ob ein Ergebnis ein Einzelfall, eine kurzlebige Schwankung oder eine über die Zeit anhaltende Veränderung ist.

LLM-Brand-Monitoring ist die wiederholte Durchführung einer definierten Studie und der Vergleich ihrer Ergebnisse über die Zeit. Die Studie sollte dieselben Entitäten, Szenarien, Zielgruppen, Märkte und Bewertungskriterien abdecken, wobei alle Änderungen der Forschungsbedingungen dokumentiert werden sollten.

Monitoring ist daher keine Frage des gelegentlichen Fragens eines Modells nach einem Unternehmen. Es ist ein Forschungsprozess, der eine konsistente Methodik, gesicherte Nachweise und eine sorgfältige Interpretation erfordert.

Was überwachen wir eigentlich?

Die einfachste Antwort ist, dass wir überwachen, wie generative Systeme auf Fragen reagieren, die für eine Marke relevant sind.

Dies beschränkt sich nicht darauf, zu prüfen, ob der Name der Marke erscheint. Wie wir in unserem Artikel über die Markenrepräsentation in großen Sprachmodellen erläutern, kann die Darstellung einer Marke Folgendes umfassen:

• ob die Marke in einer Antwort vorhanden oder abwesend ist;

• ob sie spontan erwähnt wird, ohne im Prompt genannt zu werden;

• ob sie dem Benutzer empfohlen wird;

• die ihr zugeordneten Attribute, Produkte und Fähigkeiten;

• den Ton und Kontext der Antwort;

• die Zielgruppen und Anwendungsfälle, mit denen die Marke assoziiert wird;

• die im selben Kontext erscheinenden Wettbewerber;

• die vom System verwendeten oder zitierten Quellen;

• Faktische Fehler, veraltete Informationen und Halluzinationen.

Monitoring kann daher sowohl die Markensichtbarkeit als auch die Qualität der Markenrepräsentation umfassen. Diese Unterscheidung ist wichtig. Eine Marke kann häufig erwähnt werden, aber im falschen Kontext erscheinen, mit einem veralteten Angebot assoziiert werden oder einer Zielgruppe empfohlen werden, die sie nicht mehr bedient.

Es lohnt sich daher, Markenpräsenz, Empfehlungen, Kontext, faktische Genauigkeit und Beziehungen zu Wettbewerbern separat zu messen. Der Prozentsatz der Antworten, die den Namen eines Unternehmens enthalten, liefert kein vollständiges Bild. Wir untersuchen diese Unterscheidung genauer in unserem Leitfaden zur KI-Markensichtbarkeit.

Monitoring versus einmaliges Audit

Ein Audit und ein fortlaufendes Monitoring sind nicht dasselbe, obwohl ein gut konzipiertes Audit der Ausgangspunkt für ein Monitoring sein kann.

Ein Audit beantwortet primär die Frage: Wie wird die Marke heute repräsentiert? Es etabliert eine Basislinie, identifiziert Probleme und hebt Bereiche hervor, die weiterer Beobachtung bedürfen.

Monitoring fügt die Dimension der Zeit hinzu:

• Wird die Marke häufiger oder seltener erwähnt?

• Hat sich ihr Anteil an Empfehlungen erhöht?

• Sind zuvor entdeckte Fehler verschwunden?

• Beginnen neue Produkte in den Antworten aufzutauchen?

• Hat ein Wettbewerber die Hoheit über ein bestimmtes Thema oder Szenario übernommen?

• Haben Kommunikationsaktivitäten eine Veränderung bewirkt, die in nachfolgenden Messungen beobachtet werden kann?

Wurde das anfängliche Audit ohne ein klar definiertes Fragenpanel, Bewertungskriterien und Antwortaufzeichnungen durchgeführt, kann es schwierig sein, es später zu reproduzieren. Eine Basisstudie sollte daher von Anfang an eine Methodik verwenden, die für die Wiederholung konzipiert ist.

Brand Semantics beschreibt einen praktischen Ansatz zur Erstellung einer solchen Basislinie in ihrem Leitfaden „How to run an AI visibility audit“.

Ein Audit liefert einen Referenzpunkt. Monitoring zeigt die Richtung und das Ausmaß der Veränderung. Ohne eine glaubwürdige Basislinie ist es jedoch schwierig festzustellen, ob ein späteres Ergebnis eine echte Verbesserung darstellt.

Monitoring versus Antwortstabilität

Dies ist eine der wichtigsten methodischen Unterscheidungen.

Monitoring vergleicht Ergebnisse, die zu verschiedenen Zeitpunkten gesammelt wurden. Ein Stabilitätstest untersucht, wie stark Antworten unter ähnlichen Bedingungen innerhalb desselben Forschungszeitraums variieren.

Wenn eine Marke im Januar in sechs von zehn Antworten und im Februar in acht von zehn Antworten erschien, können wir nicht automatisch schließen, dass ihre Sichtbarkeit zugenommen hat. Wir müssen zuerst die natürliche Variabilität innerhalb jeder Messperiode verstehen.

Forschung zur Modellevaluation zeigt, dass Ergebnisse selbst auf paraphrasierte Anweisungen empfindlich reagieren können. Die Autoren von „State of What Art? A Call for Multi-Prompt LLM Evaluation“ argumentieren, dass eine Evaluation, die auf einer einzigen Prompt-Formulierung basiert, zu überzogenen Schlussfolgerungen führen kann.

Dies bedeutet nicht, dass jede Studie unbegrenzt wiederholt werden muss. Es bedeutet, dass die Methodik das Risiko und die Bedeutung der Entscheidung widerspiegeln sollte, die die Forschung unterstützen soll.

Ein Unterschied zwischen zwei Messperioden ist nicht automatisch ein Trend. Er kann auf einen hindeuten, aber wir müssen ihn zuerst von generativer Variabilität und Änderungen der Forschungsbedingungen unterscheiden.

Warum können sich Ergebnisse ändern?

Eine Änderung des Indikators bedeutet nicht immer, dass sich die Marke selbst geändert hat. Mehrere Mechanismen können dafür verantwortlich sein.

Das Informationsumfeld der Marke hat sich geändert

Neue Artikel, Berichte, Produktseiten, Rezensionen, PR-Materialien und Wettbewerberinhalte können erschienen sein. Andere Quellen können verschwunden oder veraltet sein.

Diese Änderungen müssen nicht von der Marke selbst ausgehen. Ein Wettbewerber kann klarere, vollständigere oder besser vernetzte Informationen veröffentlichen und folglich häufiger in Antworten erscheinen.

Das System oder sein Informationsabrufprozess hat sich geändert

Generative Systeme können unterschiedliche Modelle, Suchkomponenten, Abfrageerweiterungstechniken und Quellenauswahlmechanismen verwenden. Google erklärt, dass KI-Übersichten und der KI-Modus unterschiedliche Modelle und Techniken verwenden können, was bedeutet, dass sowohl die Antworten als auch die unterstützenden Links variieren können.

Wenn sich die Modellversion, die Schnittstelle oder der Zugang zu aktuellen Webinformationen ändert, sollte dies als Teil der Forschungsbedingungen dokumentiert werden.

Die Forschungsbedingungen haben sich geändert

Sprache, Standort, Kontoeinstellungen, Zugang zur Websuche, Fragestellung und die Menge der genannten Wettbewerber können die Antwort beeinflussen.

„Welches Tool soll ich wählen?“ und „Welches ist das beste Tool?“ mögen ähnlich erscheinen, können aber unterschiedliche Bewertungskriterien aktivieren. Wenn sich Prompts zwischen Messperioden ändern, arbeiten wir nicht mehr mit genau demselben Panel.

Generative Variabilität hat die Ergebnisse beeinflusst

Sprachmodelle produzieren nicht immer identische Antworten. Sie können unterschiedliche Beispiele auswählen, die Reihenfolge einer Liste ändern oder eine Marke weglassen, die sie in einem früheren Durchlauf erwähnt haben.

Nicht jeder Unterschied ist ein Beweis für eine veränderte Markenrepräsentation.

Was sollte konstant bleiben?

Wir können die untersuchten Systeme nicht einfrieren, aber wir können den Kern der Forschung kontrollieren.

Die folgenden Elemente sollten so konsistent wie möglich bleiben:

• die Marke und ihre Namensvarianten;

• die in die Studie einbezogenen Produkte, Dienstleistungen und anderen Entitäten;

• die Zielgruppen und Personas;

• die Anwendungsfälle;

• die Phasen des Entscheidungsprozesses;

• das Fragenpanel und seine Ausführungsregeln;

• die Sprache, der Markt und der Standort;

• die getesteten Systeme;

• die Regeln zur Antwortklassifizierung;

• die Art und Weise, wie Indikatoren berechnet werden;

• die vollständigen Antworten und Daten jeder Messung.

Jede unvermeidliche Änderung sollte aufgezeichnet werden. Wenn neue Fragen eingeführt werden müssen, ist es oft besser, sie als separates Modul hinzuzufügen, während das feste Vergleichspanel beibehalten wird.

Eine praktische Regel ist, die Studie anzupassen, wenn das Geschäft es erfordert, aber niemals ihre Geschichte neu zu schreiben. Behalten Sie frühere Definitionen und Ergebnisse bei, damit Sie feststellen können, ob sich die Marke, die Methodik oder beides geändert hat.

Wie oft sollte Brand-Monitoring durchgeführt werden?

Es gibt keine einzige Frequenz, die für jede Organisation geeignet ist.

Monatliches Monitoring kann angemessen sein, wenn:

• sich der Markt schnell ändert;

• die Marke intensive Kommunikation betreibt;

• neue Produkte oder Dienstleistungen eingeführt werden;

• Wettbewerber sehr aktiv sind;

• das Reputationsrisiko erheblich ist.

Vierteljährliches Monitoring kann für Organisationen mit einem stabilen Angebot, längeren Kaufzyklen und einem langsameren Kommunikationstempo ausreichend sein.

Zusätzliche Messungen können gerechtfertigt sein nach:

• einer Positionsänderung;

• einer Produkteinführung oder dem Eintritt in einen neuen Markt;

• einem größeren Website- oder Content-Architektur-Redesign;

• einer Reputationskrise;

• einer Fusion, Übernahme oder einem Rebranding;

• einer großen Kommunikationskampagne;

• einer signifikanten Änderung an einem der überwachten Systeme.

Häufigere Messungen sind nicht immer besser. Wenn das Ergebnis täglich schwankt, die Organisation aber vierteljährlich Entscheidungen trifft, kann übermäßige Messung eher Warnungen als nützliche Informationen erzeugen.

Der Monitoring-Zeitplan sollte das Tempo der Veränderung, das Risikoniveau und den Entscheidungszyklus der Organisation widerspiegeln.

In einem unserer Projekte haben wir eine soziale Kampagne überwacht, die zu Beginn des Jahres durchgeführt wurde. Es war ein besonders anspruchsvolles Kommunikationsfenster: Die saisonale Welle der weihnachtlichen Wohltätigkeit war gerade erst abgeklungen, während die intensive Promotion rund um das Finale des Großen Orchesters der Weihnachtshilfe (WOŚP) bereits die öffentliche und mediale Aufmerksamkeit dominierte. Die Kampagne musste daher zwischen zwei außergewöhnlich starken Wellen sozialer Kommunikation um Sichtbarkeit konkurrieren.

Eine konventionelle Messung vor der Kampagne und eine weitere danach hätten nicht genug über die Dynamik der Veränderung verraten. Wir erhöhten die Messfrequenz, um genauer beobachten zu können, wann die Kampagnenerzählung in den Antworten generativer Systeme zu erscheinen begann. Gleichzeitig führten wir zusätzliche explorative Sondierungen durch und variierten ausgewählte Forschungsparameter, indem wir einige der Szenarien ersetzten, während wir einen festen Vergleichskern beibehielten.

Dies ermöglichte es uns, die Bewegung in den Kernindikatoren von Signalen zu unterscheiden, die in neueren, aktuelleren Kontexten auftauchten. Das Projekt zeigte, dass eine höhere Messfrequenz unter außergewöhnlichen Umständen notwendig sein kann, aber nicht bedeuten sollte, die gesamte Methodik unkontrolliert zu ändern. Der stabile Teil der Studie bewahrte die Vergleichbarkeit, während die variablen Szenarien uns halfen, zu erfassen, wie die Systeme auf die Entwicklung der Kampagne reagierten.

Wie sollte eine Ergebnisänderung interpretiert werden?

Wir sollten niemals nur den Durchschnittswert betrachten.

Wenn die Sichtbarkeit von 40 % auf 50 % steigt, müssen wir untersuchen:

• welche Systeme die Änderung hervorgerufen haben;

• welche Personas und Szenarien dafür verantwortlich waren;

• ob die Marke lediglich erwähnt oder aktiv empfohlen wurde;

• ob die Informationen korrekt waren;

• was mit den Wettbewerbern geschah;

• ob die Verbesserung weit verbreitet oder auf eine kleine Anzahl von Fragen beschränkt war;

• ob die Anzahl der Beobachtungen ausreichte, um die Schlussfolgerung zu stützen.

Jeder Indikator sollte zusammen mit seinem Nenner präsentiert werden. Eine Änderung von einer positiven Antwort zu zwei stellt eine Steigerung von 100 % dar, basiert aber immer noch auf nur zwei Antworten.

Quantitative Ergebnisse sollten auch von qualitativen Belegen begleitet werden: die vollständige Antwort, ihr Kontext, die erwähnten Wettbewerber, die zitierten Quellen und die vom System verwendete Argumentation.

Monitoring ist keine Meinungsforschung. Es beweist nicht, dass Kunden die Marke auf dieselbe Weise wahrnehmen, noch zeigt es, dass eine Änderung direkt zu Verkäufen führen wird. Es zeigt, was ausgewählte Systeme unter definierten Forschungsbedingungen generiert haben.

Eine unserer Studien ergab einen außergewöhnlich hohen Sichtbarkeitswert für eine Hotelmarke im allerersten Durchlauf. Das Ergebnis war weitaus stärker, als wir es angesichts der Marktposition der Immobilie und ihrer kurzen Geschichte – sie war erst wenige Monate zuvor eröffnet worden – vernünftigerweise erwarten konnten.

Auf den ersten Blick sahen die Daten wie ein Beweis für einen ungewöhnlich schnellen Kommunikationserfolg aus. Erst eine Überprüfung der vollständigen Antworten zeigte, dass die Sprachmodelle die Immobilie fälschlicherweise einer viel größeren internationalen Hotelkette zuschrieben. Aufgrund einer teilweisen Ähnlichkeit im Namen oder Kontext schlossen die Systeme auf eine Beziehung, die nicht existierte.

Die Immobilie erhielt daher eine Sichtbarkeit, die nicht durch ihren eigenen Informations-Footprint generiert worden war. Es war eine Sichtbarkeit, die durch eine falsche Entitätsidentifikation entstand. Die Überinterpretation der Modelle führte zu einer erheblichen Überschätzung der zugrunde liegenden Leistungsindikatoren.

Dieser Fall zeigte, warum die Analyse nicht bei einem Prozentsatz aufhören kann. Hätten wir die Antworten und die Art und Weise, wie die Entität identifiziert worden war, nicht überprüft, hätten wir dem Kunden ein attraktives, aber grundlegend irreführendes Bild präsentiert. Ein hoher Wert weist nicht immer auf eine starke Position hin – manchmal deckt er ein Problem der Entitätsauflösung auf.

Was sollten wir tun, wenn eine Änderung erkannt wird?

Ein nützlicher Monitoring-Prozess sollte zu einer Entscheidung führen, nicht nur zu einem weiteren Diagramm.

1. Bestätigen Sie das Ergebnis

Wiederholen Sie die relevanten Szenarien oder führen Sie eine zusätzliche Stabilitätsprüfung durch. Stellen Sie fest, ob die Änderung über Systeme und äquivalente Prompt-Formulierungen hinweg bestehen bleibt.

2. Lokalisieren Sie die Änderung

Identifizieren Sie die Systeme, Zielgruppen, Produkte, Szenarien und Phasen der Entscheidungsreise, in denen der Unterschied aufgetreten ist.

3. Klassifizieren Sie die Änderung

Bestimmen Sie, ob es sich um Folgendes handelt:

• Markenpräsenz;

• Empfehlung;

• faktische Genauigkeit;

• Kontext oder Stimmung;

• Wettbewerberpositionierung;

• Quellen;

• Halluzination oder falsche Entitätsidentifikation.

4. Vergleichen Sie das Ergebnis mit der beabsichtigten Markenidentität

Fragen Sie, ob die entstehende Repräsentation mit der Art und Weise übereinstimmt, wie die Organisation verstanden werden möchte.

5. Analysieren Sie Quellen und Informationslücken

Prüfen Sie, ob die relevanten Informationen im digitalen Ökosystem der Marke verfügbar, aktuell, explizit und konsistent sind.

Hier können Dienste wie Semantic Health helfen, Widersprüche, fehlende Beziehungen und Schwachstellen in der Informationsinfrastruktur der Marke zu identifizieren.

6. Wählen Sie die geeignete Maßnahme

Je nach Diagnose kann der nächste Schritt die Korrektur faktischer Informationen, die Stärkung von Entitätsbeziehungen, die Aktualisierung von Produktinhalten, die Verbesserung der Content-Architektur oder die Veröffentlichung neuer evidenzbasierter Materialien umfassen.

Wo das Problem die Strukturierung und Interpretation von Informationen durch KI-Systeme betrifft, bietet AI-First Content Engineering einen Rahmen für die Gestaltung von Inhalten rund um Entitäten, Beziehungen und klar ausgedrückte Behauptungen.

Die umfassendere Rolle dieser Infrastruktur wird in „Brand Semantics als Infrastruktur für die KI-Suche“ erläutert.

7. Erneut messen

Eine Korrekturmaßnahme ist nicht abgeschlossen, wenn der Inhalt veröffentlicht wird. Die nächste Messung sollte bewerten, ob die erwartete Änderung eintritt und ob unbeabsichtigte Effekte an anderer Stelle aufgetreten sind.

Wie unterstützt Semantio das Brand-Monitoring?

Einen Test manuell durchzuführen ist einfach. Die Komplexität steigt, wenn eine Studie mehrere Zielgruppen, Produkte, Wettbewerber, Szenarien und generative Systeme umfasst – und wenn vergleichbare Aufzeichnungen über die Zeit hinweg erhalten bleiben müssen.

Semantio organisiert die Studie um die Markenidentität herum. Es ermöglicht Teams, Produkte, Zielgruppen und Wettbewerber zu definieren und dann Testszenarien auf der Grundlage dieser Entitäten zu erstellen.

Die Ergebnisse können über die gesamte Studie hinweg sowie auf der Ebene einzelner Fragen und Systeme analysiert werden. Dies ermöglicht es, über einfache Erwähnungszählungen hinauszugehen und die Beweise hinter den Indikatoren zu überprüfen.

Die Plattform beseitigt nicht die Notwendigkeit der Interpretation. Sie unterstützt konsistente Messungen, strukturierte Vergleiche und die Aufbewahrung von Forschungsaufzeichnungen – die Elemente, die erforderlich sind, damit Monitoring zu einem wiederholbaren Geschäftsprozess und nicht zu einer Sammlung von Screenshots wird.

Möchten Sie feststellen, wie Ihre Marke heute in KI-Systemen repräsentiert wird und wie sich diese Repräsentation ändert? Erstellen Sie Ihr Semantio-Konto und richten Sie Ihre erste Basislinienmessung ein.

Häufig gestellte Fragen

Ist LLM-Brand-Monitoring dasselbe wie Social Listening?

Nein. Social Listening analysiert Inhalte, die von Personen und Organisationen auf sozialen Plattformen und anderen öffentlichen Kanälen veröffentlicht werden. LLM-Monitoring untersucht Antworten, die von KI-Systemen als Reaktion auf definierte Szenarien generiert werden.

Die beiden Ansätze können sich ergänzen, messen aber unterschiedliche Phänomene.

Reicht es aus, ChatGPT regelmäßig eine Frage zu stellen?

Nein. Eine einzelne Frage repräsentiert nicht die Bandbreite an Zielgruppen, Bedürfnissen, Produkten, Entscheidungsphasen und Wettbewerbskontexten, die für eine Marke relevant sind. Sie bietet auch keine ausreichende Grundlage, um einen Trend von der normalen Antwortvariabilität zu unterscheiden.

Ist hohe Sichtbarkeit immer vorteilhaft?

Nein. Eine Marke kann sehr sichtbar sein, weil sie falsch dargestellt, mit einer anderen Entität verwechselt oder in einem ungünstigen Kontext erwähnt wird. Sichtbarkeit sollte immer zusammen mit Genauigkeit, Relevanz und der Art der Empfehlung analysiert werden.

Wird die Aktualisierung einer Website die Modellantworten sofort ändern?

Nicht unbedingt. Änderungen können je nach System und den verwendeten Mechanismen unterschiedlich schnell entdeckt, verarbeitet und widergespiegelt werden. Einige Antworten können auch auf externen Quellen und nicht auf der eigenen Website der Marke basieren.

Kann Monitoring die Ursache jeder Änderung identifizieren?

Nein. Es kann aufzeigen, wo und wie sich das Ergebnis geändert hat, aber es liefert möglicherweise nicht immer definitive Beweise für die Kausalität. In vielen Fällen muss die Ursache durch die Kombination von Antwortanalyse, Quellenprüfung und Kenntnis der Änderungen im Informationsumfeld der Marke abgeleitet werden.

Was sollten wir eigentlich überwachen?

LLM-Brand-Monitoring ist eine wiederholbare Studie, keine Sammlung von Ad-hoc-Chatbot-Gesprächen.

Ihr Wert hängt ab von:

• einer klar definierten Basislinie;

• einem stabilen Panel von Entitäten und Szenarien;

• dokumentierten Forschungsbedingungen;

• der Unterscheidung von langfristigen Veränderungen von der Antwortvariabilität;

• der Analyse sowohl von Indikatoren als auch der vollständigen zugrunde liegenden Beweise;

• der Verknüpfung von Erkenntnissen mit spezifischen Geschäfts- und Kommunikationsentscheidungen.

Die wichtigste Frage ist daher nicht einfach: „Hat das Modell unsere Marke erwähnt?“

Sie sollte lauten:

Ändert sich die Art und Weise, wie KI-Systeme unsere Marke repräsentieren, im Laufe der Zeit – und wenn ja, wo, in welche Richtung und mit welchen Auswirkungen auf die Zielgruppe?