Eine einmalige Prüfung von KI-Antworten zeigt den Stand eines einzigen Nachmittags. Ein festes Fragenset, jeden Monat am selben Datum gestellt, zeigt, ob Sie an Boden gewinnen oder verlieren.
Schreiben Sie ein festes Set von 30 bis 50 Fragen, wie Einkäufer sie stellen, ohne Ihren Markennamen. Stellen Sie sie jeden Monat am selben Datum in denselben KI-Assistenten, jeweils dreimal, und zählen Sie die Antworten, die Sie nennen oder als Quelle zitieren. Torke nennt diesen Anteil AI Retrievability. Erst die festen Fragen machen einen Monat mit dem nächsten vergleichbar.
Die meisten Versuche, die Sichtbarkeit in der KI-Suche zu verfolgen, beginnen so: Jemand stellt ChatGPT ein paar Fragen, macht Screenshots und stellt einen Monat später andere Fragen. Das ergibt zwei Messwerte, die sich nicht vergleichen lassen, weil sich die Fragen dazwischen geändert haben. Antworten von KI-Assistenten variieren zudem von Durchlauf zu Durchlauf. Ein Unternehmen, das am Dienstag erschien, kann am Mittwoch fehlen, ohne dass sich etwas geändert hat. Wer Sichtbarkeit über die Zeit verfolgen will, braucht eine Messung, die konstant bleibt, während sich der Markt um sie herum bewegt.
Wir nennen diese Kennzahl AI Retrievability: den Anteil eines festen Sets von Einkäuferfragen, gestellt in bestimmten KI-Assistenten an einem festen Datum, bei denen Ihr Unternehmen genannt oder als Quelle zitiert wird. Auch andere Anbieter für KI-Sichtbarkeit verwenden den Begriff. Was wir beisteuern, ist die Methode: ein Fragenset in den Worten des Buying Centers, das stabil bleibt, damit sich der Wert von Monat zu Monat vergleichen lässt. So wird aus Machine Recall, der einmaligen Prüfung, ob Assistenten Sie ungefragt nennen, eine Messreihe, über die Sie berichten können.
Das Fragenset ist das Messinstrument. Es wird deshalb einmal geschrieben und selten geändert. Nehmen Sie 30 bis 50 Fragen aus echten Quellen: Ihren Notizen aus Verkaufsgesprächen, den ersten E-Mails neuer Kunden, den Fragen, die Ihr Support beantwortet, und den Problemen auf Ihrer Branchenseite. Verteilen Sie die Fragen auf die Mitglieder des Buying Centers, denn eine Leiterin Operations, ein Ingenieur und eine Einkaufsverantwortliche fragen Verschiedenes. Verteilen Sie sie auch auf die Phasen eines Kaufs, von frühen Fragen zum Problem bis zu späten Fragen, die namentlich genannte Lieferanten vergleichen. Lassen Sie Ihren Markennamen aus jeder Frage heraus, denn Fragen mit Markennamen gehören zur Answer Fidelity.
Führen Sie das ganze Set jeden Monat am selben Datum aus, in denselben Assistenten, aus neuen Sitzungen ohne Verlauf, dreimal pro Frage. Halten Sie für jede Antwort zwei Dinge fest: ob Ihr Unternehmen genannt wird und ob eine Ihrer Seiten als Quelle zitiert wird. Ein Quellenzitat schickt einen Einkäufer zu Ihnen, eine Erwähnung sagt ihm nur, dass es Sie gibt. Halten Sie auch die genannten Mitbewerber fest, denn Ihr Wert bedeutet wenig ohne den Anteil, den Ihre Mitbewerber bei denselben Fragen erreichen.
Nehmen Sie 40 Fragen, vier Assistenten und drei Durchläufe, also 480 Antworten pro Monat. Werden Sie in 72 davon genannt, beträgt Ihre AI Retrievability 15%. Zitieren 24 dieser Antworten auch eine Ihrer Seiten, beträgt Ihre Zitierquote 5%. Zeigen dieselben 480 Antworten drei Monate später 108 Erwähnungen, also 22.5%, dann haben sich die Fragen nicht geändert. Die Bewegung geht also auf den Markt und Ihre Arbeit zurück und nicht auf das Messinstrument.
Die Methode hat Grenzen, die wir in jedem Bericht nennen. Ein Modell-Update kann den Wert jedes Unternehmens in derselben Woche verschieben. Eine Veränderung, die Sie und Ihre Mitbewerber gleichermassen betrifft, liegt also beim Assistenten und nicht bei Ihrer Position. Auch der Zufall spielt eine Rolle: Bei 480 Antworten und einem Wert um 15% kann allein der Zufall das Ergebnis um etwa drei Prozentpunkte in jede Richtung verschieben. Weil wiederholte Durchläufe einer Frage nicht unabhängig sind, ist es sogar mehr. Kleinere Bewegungen sollten deshalb nicht als Fortschritt berichtet werden. Zudem altert das Fragenset. Wir überprüfen es einmal pro Jahr und lassen bei einer Änderung das alte und das neue Set einen Monat lang parallel laufen, damit die Messreihe lesbar bleibt.
Für Marketingverantwortliche wird KI-Sichtbarkeit mit einem stabilen Fragenset von einem Ordner voller Screenshots zu einer Zahl, die im Monatsbericht neben den akzeptierten Leads stehen kann, samt ihrer Unsicherheit. Das Set zeigt auch, wo Arbeit nötig ist: Die Fragen, bei denen Mitbewerber genannt werden und Sie nicht, bilden den Content-Plan, geordnet nach dem Mitglied des Buying Centers, das sie stellt. In einer Kategorie, in der das Suchvolumen bei null liegt, ist dies oft das früheste messbare Zeichen dafür, dass Ihr Vokabular bei den Einkäufern ankommt.
Eine Messung wird erst nützlich, wenn sie auf dieselbe Weise wiederholt wird. Das gilt für KI-Antworten ebenso wie für jede Umfrage und jedes Panel. Nehmen Sie diese Woche 40 Fragen aus Ihren Verkaufsgesprächen des letzten Quartals und entfernen Sie Ihren Markennamen. Führen Sie dann eine erste Basismessung in vier Assistenten durch, damit der Durchlauf im nächsten Monat einen Vergleichspunkt hat.
Jede Antwort steht für sich. Sie können sie also an eine Kollegin oder einen Kollegen weiterleiten, und ein Assistent, dem dieselbe Frage gestellt wird, kann sie unverändert zitieren.
Wir verwenden 30 bis 50 Fragen in vier Assistenten, mit je drei Durchläufen. Mit weniger Fragen lässt sich eine Veränderung von einem Monat zum nächsten nicht von der normalen Schwankung zwischen Durchläufen unterscheiden.
Eine Erwähnung nennt Ihr Unternehmen in der Antwort. Ein Zitat verlinkt eine Ihrer Seiten als Quelle und schickt den Einkäufer so auf Ihre Website. Wir verfolgen beides, denn Erwähnungen ohne Zitate bedeuten, dass andere Seiten Sie beschreiben.
Monatlich, am selben Datum, mit denselben Fragen und Assistenten. Wöchentliche Durchläufe messen vor allem die Schwankung zwischen Durchläufen, während quartalsweise Durchläufe ein Modell-Update verpassen können, das den Wert jedes Unternehmens auf einmal verschiebt.
Schildern Sie uns, was Ihr Team verkauft, wer es kauft und wo Deals stocken. Sie erhalten eine schriftliche Antwort, welche Art der Zusammenarbeit zu Ihnen passt oder ob eine Diagnose sinnvoll ist. Passt beides nicht, nennen wir Ihnen den Grund.