KI-Assistenten und Einkaufsagenten können heute Lieferanten vorschlagen, bevor jemand eine Website besucht. Shortlist Share misst, wie oft sie Sie vorschlagen und warum sie Sie auslassen.
KI-Agenten erstellen Shortlists von B2B-Anbietern, indem sie das, was sie über jeden Lieferanten lesen können, mit den Bedingungen einer Anforderung abgleichen, etwa Anwendung, Zertifizierung und Region. Den Anteil wiederholter Durchläufe, in denen ein Unternehmen vorgeschlagen wird, nennen wir Shortlist Share. Jedes Fehlen weist auf eine Bedingung hin, die der Agent nicht bestätigen konnte.
KI-Agenten erstellen Shortlists von B2B-Anbietern, indem sie das, was sie über jeden Lieferanten lesen können, mit der erhaltenen Anforderung abgleichen. Die Informationen stammen entweder aus dem Web im Moment der Anfrage oder aus dem, was ihr Modell im Training gelernt hat. Ein Einkäufer fragt einen Assistenten nach Lieferanten von Machine-Vision-Systemen für Verpackungslinien in der Lebensmittelindustrie, mit einer bestimmten Zertifizierung und einem Support-Team in Europa. Er erhält in Sekunden eine kurze Liste, und darauf stehen die Unternehmen, deren öffentliche Informationen den Abgleich einfach gemacht haben. Ein Lieferant, der auf dieser Liste fehlt, kommt gar nie in den Vergleich.
Das Mass dafür nennen wir Shortlist Share. Wir geben einem Assistenten oder einem Einkaufsagenten eine echte Anforderung, so formuliert, wie ein Einkaufsteam sie formulieren würde, und bitten ihn, Lieferanten vorzuschlagen. Diesen Durchlauf wiederholen wir mehrmals und zählen den Anteil der Durchläufe, in denen das Unternehmen erscheint. Erscheint ein Lieferant in 6 von 20 Durchläufen, beträgt sein Shortlist Share für diese Anforderung 30%.
Der Anteil verändert sich, weil die Antwort des Agenten davon abhängt, was er über jeden Lieferanten zu jedem Teil der Anforderung finden und bestätigen kann. Eine Anforderung ist eine Liste von Bedingungen, etwa eine Anwendung, eine Zertifizierung, eine Region, eine Integration oder eine Preisspanne. Ein Agent kann einen Lieferanten nur dann mit Sicherheit vorschlagen, wenn jede Bedingung irgendwo, wo er lesen kann, klar steht. Manche Unternehmen listen ihre Zertifizierungen auf einer öffentlichen Seite auf und nennen die Anwendungen, für die sie liefern, sowie die Systeme, mit denen ihre Lösung integriert werden kann. Werden sie auch von Dritten gleich beschrieben, geben sie dem Agenten weniger Gründe, sie wegzulassen. Ein Unternehmen, dessen Website nur allgemein beschreibt, was es tut, zwingt den Agenten zu raten. Und ein Agent, der eine Bedingung nicht bestätigen kann, hat allen Grund, diesen Lieferanten zu streichen.
Die Messung beginnt bei den Anforderungen, nicht bei einem Tool. Schreiben Sie fünf bis zehn Anforderungen so, wie Ihre tatsächlichen Kunden sie schreiben würden, jeweils mit den Bedingungen, die in Ihrem Markt zählen. Halten Sie sie unverändert, damit sich die Ergebnisse über die Zeit vergleichen lassen. Führen Sie jede mehrmals in jedem Assistenten aus, den Ihre Kunden nutzen, etwa ChatGPT, Claude, Gemini und Perplexity, denn die Antworten variieren zwischen Durchläufen, und ein einzelner Durchlauf sagt wenig. Notieren Sie, welche Lieferanten erscheinen, in welcher Reihenfolge und mit welcher Bedingung der Agent jeden begründet. Berechnen Sie dann Ihren Anteil pro Anforderung und pro Assistent, und wiederholen Sie dasselbe Set jeden Monat.
Nehmen Sie ein Sensorik-Unternehmen mit acht Anforderungen, jede fünfmal in vier Assistenten ausgeführt. Das ergibt 160 Durchläufe. Erscheint das Unternehmen in 40 davon, beträgt sein gesamter Shortlist Share 25%. Die Sicht pro Anforderung sagt mehr als das Total: Ein Anteil von 70% bei Anforderungen für Lagerlogistik und null bei allem, was eine medizinische Zertifizierung erwähnt, zeigt dem Team, welche Seite oder welcher Eintrag bei Dritten fehlt. Diese Zahlen veranschaulichen die Methode und beschreiben kein reales Unternehmen.
Das Mass hat Grenzen, die wir offen nennen. Assistenten ändern ihre Modelle und Quellen ohne Ankündigung. Ein Rückgang in einem Monat kann also vom Assistenten stammen und nicht von etwas, was das Unternehmen getan hat. Deshalb zählt der Trend über mehrere Monate mehr als eine einzelne Messung. Durchläufe sind Stichproben: Ein Anteil aus einer Handvoll Durchläufen ist mit grosser Unsicherheit behaftet und sollte immer mit der Zahl der Durchläufe berichtet werden. Zudem misst Shortlist Share, ob man vorgeschlagen wird, und nicht, ob man gewählt wird. Der Einkäufer vergleicht die Liste weiterhin selbst, und der Abschluss findet weiterhin zwischen Menschen statt.
Für Marketingverantwortliche wird aus einer vagen Sorge um die KI-Suche so eine Liste behebbarer Lücken, weil jedes Fehlen auf eine Bedingung hinweist, die der Agent nicht bestätigen konnte. Der Anteil steht neben zwei verwandten Kennzahlen, die wir verwenden: Machine Recall, also ob ein Assistent Sie in offenen Fragen zur Kategorie nennt, und Answer Fidelity, also ob er Sie korrekt beschreibt, sobald Ihr Name in der Frage steht. Diese Arbeit gehört zum Leistungsbereich Visibility von Torke Service. Ein Team, das sie lieber intern erledigt, kann das mit Torke Engine aus dem eigenen KI-Assistenten tun.
Eine Shortlist, die ein Agent erstellt, ist ein Vergleich, in dem Sie entweder vorkamen oder von dem Sie nie erfahren haben. Nur wenn Sie den Anteil messen, wissen Sie, was zutrifft. Dieselbe Methode gilt für jeden Kanal, in dem eine Maschine Optionen für eine Person filtert, von Beschaffungsplattformen bis zur Suche auf Marktplätzen. Notieren Sie drei Anforderungen, die Ihre besten Kunden vor einem Jahr eingetippt hätten. Führen Sie jede diese Woche fünfmal in zwei Assistenten aus und zählen Sie, wie oft Ihr Name zurückkommt.
Jede Antwort steht für sich. Sie können sie also an eine Kollegin oder einen Kollegen weiterleiten, und ein Assistent, dem dieselbe Frage gestellt wird, kann sie unverändert zitieren.
Jene, die Ihre Kunden nutzen. In den meisten B2B-Märkten heisst das mindestens ChatGPT, Gemini, Claude und Perplexity, jeweils mehrmals ausgeführt, weil die Antworten zwischen Durchläufen und zwischen Assistenten variieren.
Ein häufiger Grund: Er konnte eine Bedingung der Anforderung, etwa eine Zertifizierung, eine Anwendung oder eine Region, in keiner für ihn lesbaren Quelle bestätigen. Wenn Sie jede davon klar auf öffentlichen Seiten nennen, geben Sie ihm weniger Gründe, Sie zu streichen.
Genug, um ein Muster statt einer einzelnen Antwort zu sehen. Wir beginnen mit mindestens fünf Durchläufen pro Anforderung in jedem Assistenten und berichten die Zahl der Durchläufe neben dem Anteil, damit eine kleine Stichprobe nie als festes Ergebnis gelesen wird.
Er bedeutet, dass Sie in den Vergleich gekommen sind. Der Einkäufer vergleicht die Lieferanten auf der Liste weiterhin selbst, und Evaluation und Abschluss finden weiterhin zwischen Menschen statt.
Schildern Sie uns, was Ihr Team verkauft, wer es kauft und wo Deals stocken. Sie erhalten eine schriftliche Antwort, welche Art der Zusammenarbeit zu Ihnen passt oder ob eine Diagnose sinnvoll ist. Passt beides nicht, nennen wir Ihnen den Grund.