Erwähnung vs. Empfehlung in KI-Antworten

Wenn eine Marke in einer KI-generierten Antwort erscheint, bedeutet das nicht zwangsläufig, dass das System sie empfiehlt.

Diese Unterscheidung wird leicht übersehen, insbesondere wenn ein Dashboard eine einzige Sichtbarkeitszahl ausweist oder eine Studie auf eine Liste von Markennamen reduziert wird. Ein Unternehmen kann als Beispiel genannt, als Quelle zitiert, mit Wettbewerbern verglichen, als ungeeignet für einen bestimmten Anwendungsfall beschrieben oder nur deshalb aufgenommen werden, weil der Nutzer es in der Frage erwähnt hat. Keine dieser Beobachtungen ist gleichbedeutend mit einer Empfehlung.

Für Teams, die die Markenrepräsentation in KI-Systemen überwachen, ist der Unterschied entscheidend. Eine Erwähnung stellt Präsenz her. Eine Empfehlung zeigt an, dass das System die Marke mit einem Nutzerbedürfnis, einem Entscheidungskontext oder Auswahlkriterien verknüpft hat. Dies sind verwandte, aber separate Ereignisse, und sie sollten separat gemessen werden.

Wie in unserem Leitfaden zur KI-Markensichtbarkeit erläutert, ist Sichtbarkeit die beobachtbare Präsenz einer Marke, eines Produkts, einer Domain oder einer verwandten Entität in einem definierten Satz von KI-generierten Antworten. Eine Empfehlung ist eine mögliche Form dieser Präsenz. Sie ist nicht ihre Standardbedeutung.

Was ist eine Markenerwähnung in einer KI-Antwort?

Eine Markenerwähnung liegt vor, wenn ein KI-System auf eine Marke, ein Unternehmen, ein Produkt, eine Dienstleistung, eine Domain oder eine andere definierte, mit der Marke verbundene Entität verweist.

Die Definition mag einfach klingen, aber eine nützliche Studie benötigt eine präzisere Regel. Eine Referenz sollte nur dann zählen, wenn die Antwort die beabsichtigte Entität ausreichend korrekt identifiziert, damit die Beobachtung aussagekräftig ist. Ein ähnlicher Firmenname, ein falsch zugeordnetes Produkt oder eine verwechselte Tochtergesellschaft sollten nicht automatisch als gültige Erwähnung gezählt werden.

Zum Beispiel kann eine KI-Antwort ein Unternehmen auf verschiedene Weisen erwähnen:

• als Anbieter in einer Kategorieliste;

• als Beispiel zur Erklärung eines Themas;

• als Wettbewerber einer anderen Marke;

• als Herausgeber einer zitierten Quelle;

• als Unternehmen, das mit einem früheren Ereignis oder einer Kontroverse verbunden ist;

• als Option, die der Nutzer vermeiden sollte;

• weil die Eingabeaufforderung die Marke direkt genannt hat;

• als Produkt, ohne es klar mit seiner Muttermarke zu verknüpfen.

All dies kann zeigen, dass die Entität in der Antwort vorhanden ist. Sie zeigen jedoch nicht dasselbe über Auffindbarkeit, Eignung oder Präferenz.

Eine praktische operative Definition lautet:

Eine gültige Markenerwähnung ist eine korrekt identifizierte Referenz auf eine definierte Markenentität innerhalb einer geeigneten KI-generierten Antwort.

Die Worte korrekt identifiziert und geeignet sind wichtig. Eine Antwort kann den richtigen Namen enthalten, sich aber dennoch auf eine andere Organisation beziehen. Sie kann die Marke auch enthalten, weil die Frage dies explizit erforderte, was für Erkennungstests wertvoll ist, aber viel weniger informativ über unbranded Discovery.

Nicht jede Erwähnung hat die gleiche Bedeutung

Eine einzelne Erwähnungsrate kann wichtige Unterschiede verschleiern. Betrachten Sie die folgenden Antworten auf eine Frage nach Software zur Überwachung, wie KI-Systeme eine Marke beschreiben.

Es geht nicht darum, dass eine Kategorie von Erwähnungen immer wertvoller ist als eine andere. Die richtige Interpretation hängt vom Forschungszweck ab. Eine reine Quellenreferenz kann für einen Verlag wichtig sein, der Beweise dafür sucht, dass seine Domain in die Quellumgebung eines KI-Systems gelangt. Eine angeforderte Erwähnung kann wichtig sein, wenn ein Unternehmen die Entitätserkennung oder die faktische Genauigkeit testen möchte. Eine spontane Erwähnung ist relevanter, wenn es um die Entdeckung ohne Markennamen in der Eingabeaufforderung geht.

Der Fehler besteht darin, jedes Vorkommen als Beweis dafür zu behandeln, dass das KI-System die Marke ausgewählt oder befürwortet hat.

Was ist eine Empfehlung?

Eine Empfehlung liegt vor, wenn eine KI-Antwort eine Marke als geeignete Option für das genannte oder vernünftigerweise abgeleitete Bedürfnis, den Anwendungsfall, die Einschränkungen oder die Entscheidungskriterien des Nutzers darstellt.

Eine Empfehlung kann direkt sein:

„Für ein mittelgroßes Marketingteam, das Markenerwähnungen und Empfehlungen über mehrere KI-Systeme hinweg überwachen muss, sollten Sie Semantio in Betracht ziehen.“

Sie kann auch bedingt sein:

„Wenn Ihre Priorität wiederholte Forschung mit einem festen Szenario-Panel ist, könnte Semantio eine geeignete Option sein.“

Oder vergleichend:

„Unter den aufgeführten Tools ist Semantio die bessere Wahl für Teams, die vollständige KI-Antworten analysieren müssen, anstatt nur eine einzige Überschrift zu verfolgen.“

In jedem Fall geht das System über die Nennung der Marke hinaus. Es verknüpft die Marke mit einem Auswahlkontext und weist einen gewissen Grad an Eignung auf.

Das bedeutet nicht, dass die Empfehlung notwendigerweise korrekt, fair oder auf vollständigen Informationen basiert. KI-Systeme können unbegründete Empfehlungen abgeben, relevante Wettbewerber übersehen, veraltete Informationen verwenden oder Fähigkeiten ableiten, die eine Marke nicht bietet. Die Tatsache, dass ein System eine Marke empfiehlt, ist eine Beobachtung über die generierte Antwort. Es ist kein unabhängiger Beweis für Produktqualität oder Marktüberlegenheit.

Dies ist ein Grund, warum Empfehlungsdaten mit der vollständigen Antwort, dem Szenario, dem System und dem Beobachtungsdatum verbunden bleiben sollten. Eine Empfehlung ohne Kontext ist schwer zu überprüfen.

Eine nützliche Unterscheidung: Erwähnung, Aufnahme in die engere Wahl und Empfehlung

In der Praxis ist es hilfreich, mindestens vier Ebenen der Markenpräsenz zu unterscheiden.

Erwähnung

Die Marke ist in der Antwort vorhanden. Es wird keine Präferenz oder Eignung impliziert.

Beispiel: „Mehrere Unternehmen veröffentlichen Forschungsergebnisse zur KI-Markensichtbarkeit, darunter Brand X.“

Aufnahme in die engere Wahl

Die Marke ist unter den Optionen enthalten, die der Nutzer in Betracht ziehen kann, aber die Antwort weist keine klare Präferenz oder Passung auf.

Beispiel: „Sie könnten Brand X, Brand Y und Brand Z vergleichen, bevor Sie einen Anbieter wählen.“

Die Aufnahme in die engere Wahl kann wertvoll sein. Sie zeigt an, dass das System die Marke in eine Entscheidungsmenge aufgenommen hat. Sie sollte jedoch nicht automatisch als Empfehlung klassifiziert werden.

Empfehlung

Die Antwort stellt die Marke als geeignet für ein definiertes Bedürfnis, eine Zielgruppe oder einen Anwendungsfall dar.

Beispiel: „Brand X ist eine vernünftige Option für Organisationen, die eine vierteljährliche Überwachung über mehrere KI-Plattformen hinweg benötigen.“

Primäre Empfehlung

Die Antwort gibt der Marke eine prominentere Position als andere Optionen oder stellt sie explizit als die bevorzugte Wahl unter den genannten Bedingungen dar.

Beispiel: „Für diesen Anwendungsfall würde ich mit Brand X beginnen, da es szenariobasierte Analysen unterstützt und die zugrunde liegenden Antworten bewahrt.“

Nicht jedes Forschungsdesign benötigt alle vier Kategorien. Eine kleinere Studie kann nur Erwähnung und Empfehlung verwenden. Aber die Klassifizierungsregel sollte vor der Überprüfung der Ergebnisse festgelegt werden, insbesondere wenn die Studie im Laufe der Zeit wiederholt wird.

Andernfalls kann eine Änderung der gemeldeten Empfehlungsrate eine geänderte Interpretation widerspiegeln und nicht eine Änderung der Antworten selbst.

Empfehlung ist immer kontextabhängig

Es gibt keine universelle Empfehlungsrate, die dauerhaft zu einer Marke gehört.

Eine Marke kann für eine Zielgruppe häufig und für eine andere selten empfohlen werden. Sie kann in allgemeinen Kategorienfragen erscheinen, aber verschwinden, wenn der Nutzer einen Markt, ein Budget, eine technische Anforderung oder einen Standort hinzufügt. Sie kann in Szenarien der Bewusstseinsphase genannt werden, während Wettbewerber in Vergleichs- oder Entscheidungsphasen stärkere Empfehlungen erhalten.

Betrachten Sie diese Fragen:

1. „Welche Tools können einem Marketingteam helfen zu verstehen, wie KI-Systeme seine Marke beschreiben?“

2. „Welche Lösung ist für eine Kommunikationsagentur geeignet, die wiederholbare KI-Markenstudien für mehrere Kunden durchführt?“

3. „Was ist der günstigste Weg, um zu überprüfen, ob ChatGPT mein Unternehmen erwähnt hat?“

4. „Welche Plattformen können Social-Media-Konversationen über eine Verbrauchermarke überwachen?“

Sie sind verwandt, aber sie fragen nicht nach derselben Lösung. Eine Empfehlung in einem Szenario kann nicht automatisch auf ein anderes übertragen werden.

Deshalb beginnt eine vertretbare Studie mit Szenarien, nicht mit einer bevorzugten Antwort. Das Szenario sollte ein realistisches Nutzerbedürfnis, relevante Einschränkungen und die zu untersuchende Entscheidungsphase beschreiben. Es sollte nicht nur geschrieben werden, um eine Gelegenheit für das Erscheinen der untersuchten Marke zu schaffen.

Ein gut gestaltetes Panel kann Kategorienfindung, Problemerkennung, Anbietervergleich, spezifische Anwendungsfälle und Fragen für definierte Zielgruppen umfassen. Die resultierenden Daten können dann nicht nur zeigen, ob die Marke erscheint, sondern auch unter welchen Umständen sie als relevant behandelt wird.

Angeforderte und spontane Empfehlungen

Die Unterscheidung zwischen angeforderter und spontaner Präsenz gilt auch für Empfehlungen.

Eine angeforderte Empfehlung erfolgt, wenn der Nutzer die Marke in der Frage nennt:

„Ist Brand X eine gute Wahl für die Überwachung der KI-Sichtbarkeit?“

Die Antwort kann die Marke empfehlen, ablehnen oder ihre Stärken und Schwächen beschreiben. Dies kann nützlich sein, um zu testen, wie das System eine bekannte Option bewertet. Es zeigt nicht, ob die Marke ohne vorherige Kenntnis entdeckt würde.

Eine spontane Empfehlung erfolgt, wenn die Marke in die Antwort gelangt, obwohl der Nutzer sie nicht genannt hat:

„Welche Tools sollte ein Marketingteam in Betracht ziehen, wenn es untersuchen möchte, wie KI-Systeme seine Marke repräsentieren?“

Dies ist in der Regel ein stärkeres Signal für die unbranded Auffindbarkeit. Das System selbst hat die Marke zur Aufnahme ausgewählt. Dennoch muss das Ergebnis sorgfältig gelesen werden. Die Empfehlung kann von der Formulierung, Sprache, dem Markt, dem System, dem aktuellen Webzugang oder anderen Forschungsbedingungen abhängen.

Die Forschung zur Bewertung von Sprachmodellen hat wiederholt gezeigt, dass scheinbar kleine Änderungen in der Prompt-Formulierung die Ausgaben beeinflussen können. Das ist ein Grund, warum eine Studie eine einzelne bequeme Frage nicht als vollständiges Bild des Verhaltens einer Plattform behandeln sollte. Das Papier State of What Art? A Call for Multi-Prompt LLM Evaluation ist hier ein nützlicher Hintergrund: Es betrifft nicht speziell die Markenforschung, zeigt aber, warum eine Prompt-Formulierung zu überzogenen Schlussfolgerungen führen kann.

Was sollte als Empfehlung zählen?

Ein Messrahmen benötigt eine klare Regel. Die genaue Klassifizierung kann je nach Studie variieren, aber die Regel sollte explizit und konsistent angewendet werden.

Eine Antwort kann als Empfehlung klassifiziert werden, wenn sie beide Bedingungen erfüllt:

1. sie identifiziert die Marke als eine Option, die für das Bedürfnis, die Situation oder die Kriterien des Nutzers relevant ist; und

2. sie drückt Eignung, Präferenz, Passung oder eine klare Einladung aus, die Marke in Betracht zu ziehen.

Signale für eine Empfehlung können Formulierungen wie die folgenden sein:

• „ziehen Sie Brand X in Betracht“;

• „Brand X passt gut zu…“;

• „Brand X könnte geeignet sein, wenn…“;

• „Ich würde Brand X wählen, wenn…“;

• „Brand X ist eine der besseren Optionen für…“;

• „Beginnen Sie mit Brand X, wenn Ihre Priorität ist…“.

Die Formulierung allein ist nicht immer ausreichend. „Sie können Brand X in Betracht ziehen“ kann eine schwache Aufnahme in die engere Wahl sein, wenn die Antwort keinen Grund für die Relevanz angibt. Umgekehrt kann eine Antwort eine substanzielle Empfehlung enthalten, ohne das Wort empfehlen zu verwenden.

Aus diesem Grund sollte die Klassifizierung die gesamte Antwort und nicht nur eine isolierte Phrase berücksichtigen. Ein System kann zunächst mehrere Marken auflisten und dann erklären, welche für die angegebene Anforderung geeignet ist. Es kann auch eine Marke bedingt empfehlen, während es eine wichtige Einschränkung bemerkt. Sowohl die positive Passung als auch der Vorbehalt sollten in den Beweisen erhalten bleiben.

Was sollte nicht als Empfehlung zählen?

Die folgenden Situationen sollten in der Regel von Empfehlungen getrennt gehalten werden:

• die Marke wird lediglich in einer Liste genannt, ohne Angabe der Passung;

• die Marke wird als Quelle zitiert;

• die Antwort beschreibt die Marke sachlich, nachdem der Nutzer sie genannt hat;

• die Marke erscheint als Wettbewerber oder Vergleichspunkt;

• das System sagt, dass die Marke für das genannte Bedürfnis nicht geeignet ist;

• das Produkt wird genannt, aber der Marke falsch zugeordnet;

• die Marke ist enthalten, weil die Eingabeaufforderung verlangte, dass jeder bekannte Anbieter aufgeführt wird;

• die Antwort ist zu vage, um festzustellen, ob das System die Marke als relevant darstellt.

Die letzte Kategorie ist wichtiger, als es scheinen mag. KI-Antworten verwenden oft komprimierte Sprache, insbesondere in Tabellen und kurzen Listen. Wenn ein Forscher nicht feststellen kann, ob Eignung impliziert ist, sollte der Datensatz als mehrdeutig gekennzeichnet oder unter einer dokumentierten Regel überprüft werden. Jede Antwort in eine binäre Klassifizierung zu zwingen, kann ein irreführendes Maß an Präzision erzeugen.

Warum eine hohe Erwähnungsrate mit einer niedrigen Empfehlungsrate koexistieren kann

Eine Marke kann oft erscheinen, aber aus mehreren Gründen nur wenige Empfehlungen erhalten.

Sie kann weithin bekannt sein, aber nur mit einem engen Produkt oder einer engen Zielgruppe verbunden sein. Sie kann hauptsächlich in angeforderten Abfragen erwähnt werden. Sie kann als Referenzquelle und nicht als Option zur Auswahl verwendet werden. Sie kann in breiten Informationsszenarien erscheinen, aber nicht in entscheidungsorientierten. Sie kann auch neben Wettbewerbern erwähnt werden, ohne als passend für das Bedürfnis des Nutzers dargestellt zu werden.

Das Gegenteil ist ebenfalls möglich. Eine spezialisierte Marke kann eine bescheidene Gesamterwähnungsrate, aber eine starke Empfehlungsrate innerhalb einer kleinen Gruppe hochrelevanter Szenarien aufweisen. Das kann nützlicher sein als eine breite Sichtbarkeit, wenn diese Szenarien einer realen kommerziellen Chance entsprechen.

Keines der Ergebnisse kann allein aus einem einzigen Prozentsatz verstanden werden.

Ein praktischer Bericht sollte daher mindestens Folgendes aufzeigen:

• die Anzahl der geeigneten Antworten;

• die Anzahl und Rate der gültigen Erwähnungen;

• die Anzahl und Rate der Empfehlungen;

• die Aufteilung zwischen angeforderten und spontanen Beobachtungen;

• Ergebnisse auf Szenarioebene;

• Ergebnisse auf Systemebene;

• die vollständigen Antworten oder relevanten Beweisauszüge;

• die Zähl- und Klassifizierungsregeln.

Für eine definierte Studie sind die grundlegenden Berechnungen einfach:

Erwähnungsrate = geeignete Antworten mit einer gültigen Erwähnung ÷ alle geeigneten Antworten × 100%

Empfehlungsrate = geeignete Antworten mit einer gültigen Empfehlung ÷ alle geeigneten Antworten × 100%

Diese Raten sollten nicht als Wahrscheinlichkeiten dargestellt werden, dass ein Nutzer eine Empfehlung sehen oder erhalten wird. Sie beschreiben den im jeweiligen Sample beobachteten Anteil: ausgewählte Szenarien, Systeme, Sprache, Markt, Datum und Forschungsbedingungen.

Eine Empfehlung kann immer noch ungenau sein

Empfehlung ist kein Synonym für positive Darstellung.

Ein KI-System kann eine Marke aufgrund einer Fähigkeit empfehlen, die sie nicht mehr anbietet. Es kann zwei Entitäten mit ähnlichen Namen verwechseln, ein Produkt dem falschen Unternehmen zuordnen oder eine Einschränkung weglassen, die für den Nutzer entscheidend ist. Es kann auch einen Anbieter empfehlen, während es besser geeignete Alternativen ignoriert.

Hier verbindet sich die Empfehlungsmessung mit der umfassenderen Frage der Markenrepräsentation in großen Sprachmodellen. Präsenz und Empfehlung sind beobachtbare Ereignisse, aber die Qualität der Repräsentation erfordert zusätzliche Überprüfungen: faktische Genauigkeit, Kategorienpassung, Produktzuordnung, Zielgruppenpassung, Wettbewerbskontext, Quellen und Framing.

Eine Empfehlung sollte daher als Antwort im Kontext überprüft und nicht automatisch als Erfolg gefeiert werden.

Dasselbe Prinzip gilt für Marken-Halluzinationen. Wenn ein KI-System ein Unternehmen empfiehlt, weil es ein Produkt, einen Standort, eine Zertifizierung oder eine Partnerschaft erfunden hat, enthält die Antwort ein Empfehlungsereignis, aber auch ein faktisches Problem. Diese Beobachtungen sollten im Forschungsdatensatz unterscheidbar bleiben, anstatt zu einem positiven Ergebnis zusammengefasst zu werden.

Wie man Erwähnung und Empfehlung im Zeitverlauf misst

Wiederholte Forschung kann aufzeigen, ob sich die beobachtete Präsenz oder das Empfehlungsmuster einer Marke ändert. Aber nur, wenn der vergleichende Kern der Studie stabil bleibt.

Dieselbe Entitäten, Szenariologik, Zielgruppen, Märkte, Systeme und Klassifizierungsregeln sollten nach Möglichkeit beibehalten werden. Änderungen am Panel können im Zuge der Geschäftsentwicklung immer noch notwendig sein, sollten aber dokumentiert und getrennt vom festen Teil der Studie behandelt werden.

Dies ist der Unterschied zwischen einer einmaligen Beobachtung und dem LLM-Markenmonitoring. Monitoring vergleicht vergleichbare Forschungsperioden. Es bedeutet nicht, gelegentlich einen Chatbot zu fragen, ob er eine Marke mag.

Wenn sich eine Empfehlungsrate ändert, sollten die ersten Fragen deskriptiv sein:

• Welche Szenarien führten zu der Änderung?

• War die Bewegung über mehrere Systeme hinweg oder nur in einem sichtbar?

• Änderten sich spontane Empfehlungen, angeforderte Empfehlungen oder beides?

• Wurde die Marke zu einer primären Empfehlung oder gelangte sie lediglich in mehr engere Auswahlen?

• Waren die Empfehlungen faktisch korrekt?

• Was geschah mit dem Wettbewerber-Set?

• Blieben die Forschungsbedingungen vergleichbar?

Erst dann kann ein Team entscheiden, ob das Ergebnis wahrscheinlich aussagekräftig ist, weitere Tests erfordert oder einfach normale Antwortvariationen widerspiegelt.

Ein einfaches Modell zum Lesen von KI-Antworten

Eine nützliche Reihenfolge ist:

Entität → Szenario → Antwort → Klassifizierung → Evidenz

Definieren Sie zuerst die Entität: offizielle Markennamen, Varianten, Produkte und Beziehungen, die eine gültige Identifizierung ermöglichen.

Zweitens, definieren Sie das Szenario: Wer fragt, was sie brauchen, in welcher Phase der Entscheidung sie sich befinden und welche Einschränkungen wichtig sind.

Drittens, bewahren Sie die Antwort auf, anstatt nur eine Punktzahl oder ein Ja/Nein-Label.

Viertens, klassifizieren Sie die Beobachtung: keine gültige Erwähnung, Erwähnung, Aufnahme in die engere Wahl, Empfehlung, primäre Empfehlung, negative Empfehlung oder mehrdeutiges Ergebnis.

Schließlich, bewahren Sie die Evidenz auf, die zur späteren Überprüfung der Klassifizierung benötigt wird: vollständige Antwort, Plattform, Datum, Sprache, sichtbare Quellen, falls verfügbar, und alle relevanten Vorbehalte.

Dies eliminiert die Interpretation nicht aus dem Prozess. Es macht die Interpretation überprüfbar. Es verhindert auch, dass eine günstig aussehende Erwähnungsrate fälschlicherweise als Beweis dafür angesehen wird, dass KI-Systeme relevante Nutzer aktiv auf die Marke lenken.

Was diese Unterscheidung nicht bedeutet

Die Trennung von Erwähnungen und Empfehlungen bedeutet nicht, dass jede Erwähnung ohne Empfehlung unwichtig ist. Erkennung, Quellenpräsenz, Kategorieaufnahme und das gemeinsame Auftreten von Wettbewerbern können alle nützliche Beobachtungen sein, wenn sie eine definierte Forschungsfrage beantworten.

Es bedeutet auch nicht, dass eine Empfehlungsrate Verkäufe, Präferenzen oder Kundenverhalten vorhersagt. KI-generierte Antworten sind keine repräsentative Stichprobe der Marktnachfrage, und ihre Formulierung kann je nach System und Zeit variieren. Eine Empfehlung ist ein Beweis dafür, was ein ausgewähltes System in einem ausgewählten Szenario generiert hat – nicht mehr und nicht weniger.

Am wichtigsten ist, dass eine höhere Empfehlungsrate nicht automatisch das Ziel ist. Die relevante Frage ist, ob die Marke genau empfohlen wird, in den Szenarien, in denen sie wirklich hingehört, an die Zielgruppen, die sie bedienen kann, und mit einer Darstellung, die mit verifizierten Informationen übereinstimmt.

Deshalb sollten Erwähnung und Empfehlung separat gemessen werden. Die eine sagt uns, dass die Marke in die Antwort gelangt ist. Die andere sagt uns, dass das System sie als relevante Option dargestellt hat. Sie zu vermischen, mag eine attraktivere Metrik schaffen, aber es entfernt die Unterscheidung, die notwendig ist, um zu verstehen, was KI-Systeme tatsächlich sagen.

Wenn Sie diese Beobachtungen über definierte Szenarien und KI-Systeme hinweg untersuchen möchten, erstellen Sie ein Semantio-Konto und beginnen Sie mit einer Baseline-Studie.