Wenn ChatGPT falsche Informationen über Ihr Unternehmen hat, wirkt der Fehler selten dramatisch. Es nennt ein Produkt, das Sie eingestellt haben, verlegt Ihren Hauptsitz in die falsche Stadt, schreibt Ihnen eine Zertifizierung zu, die Sie nie hatten, oder lässt jene weg, für die Sie ein Jahr gearbeitet haben. Und es sagt all das im selben selbstsicheren Ton wie die Dinge, die es richtig wiedergibt. Ein technischer Einkäufer, der vor einem ersten Gespräch einen Assistenten nach Ihnen fragt, nimmt diese Beschreibung ins Gespräch mit. Eine einzige falsche Spezifikation kann dann eine Evaluation beenden, die ein interner Befürworter fortsetzen wollte.
Das Mass dafür nennen wir Answer Fidelity: Wird ein KI-Assistent namentlich nach Ihrem Unternehmen gefragt, ist es der Anteil seiner Sachaussagen, die gemessen an Ihren freigegebenen Angaben korrekt sind. Es steht neben Machine Recall, das prüft, ob ein Assistent Sie nennt, wenn der Einkäufer Ihren Namen nicht nennt. Die beiden können sich in entgegengesetzte Richtungen bewegen, denn ein Unternehmen, das oft erwähnt und falsch beschrieben wird, nimmt mehr Schaden als eines, das selten erwähnt und gut beschrieben wird.
Falsche Antworten haben drei übliche Ursachen, und jede verlangt eine andere Korrektur. Die erste sind alte Seiten, etwa ein archiviertes Produktblatt, eine alte Medienmitteilung oder ein Verzeichniseintrag, den niemand aktualisiert hat. Der Assistent findet sie weiterhin, weil sie weiterhin öffentlich sind. Die zweite sind Seiten, die einander widersprechen, etwa eine Website, die ein Gründungsjahr nennt, während eine Finanzierungsdatenbank ein anderes nennt. Dann muss der Assistent wählen. Die dritte ist eine Lücke: eine Angabe, die nirgends im Klartext steht, etwa welche Branchen Sie bedienen oder welche Normen Sie erfüllen. Diese Lücke füllt der Assistent mit dem, was ähnliche Unternehmen üblicherweise tun.
Die Messung beginnt mit einer schriftlichen Liste freigegebener Angaben: zwanzig bis vierzig Aussagen, die ein Einkäufer prüfen könnte, etwa was Sie verkaufen, wo Sie tätig sind, welche Zertifizierungen Sie haben, welche Branchen Sie bedienen und welche Integrationen Sie unterstützen. Jede ist von der Person freigegeben, die dafür verantwortlich ist. Stellen Sie dann jedem Assistenten fünf bis zehn Fragen, die Ihr Unternehmen nennen, etwa was es verkauft, wie es im Vergleich mit einem namentlich genannten Mitbewerber abschneidet und was sein System kann und was nicht. Zerlegen Sie jede Antwort in einzelne Sachaussagen. Markieren Sie jede Aussage gemessen an der Liste als korrekt, veraltet, falsch oder nicht überprüfbar, und teilen Sie die korrekten durch alle Aussagen, die Sie beurteilen konnten.
Nehmen Sie vier Assistenten und acht Fragen, was insgesamt rund 160 Sachaussagen ergeben könnte. Stimmen 128 davon mit der freigegebenen Liste überein, beträgt die Answer Fidelity 80%, und die 32 übrigen werden zur Arbeitsliste. Wiederholen mehrere Assistenten denselben Fehler, stammt er meist aus einer gemeinsamen Quelle. Ein einziger veralteter Produktname kann so einen grossen Teil der 32 ausmachen, und die Korrektur dieser einen Quelle bewegt den Wert stärker als jede neue Seite.
Korrigiert wird die Quelle und nicht die Antwort, denn Sie können nicht bearbeiten, was ein Assistent sagt, nur was er liest. Suchen Sie für jede falsche Aussage die Seite, von der sie am wahrscheinlichsten stammt: Fragen Sie den Assistenten nach seinen Quellen oder suchen Sie nach der falschen Formulierung. Aktualisieren Sie diese Seite, leiten Sie sie um oder entfernen Sie sie. Korrigieren Sie die Verzeichnis- und Datenbankeinträge, die Sie selbst verwalten, und schreiben Sie die fehlenden Angaben in klaren Sätzen auf die Seiten, die Einkäufer und Assistenten zuerst lesen. Assistenten, die im Moment der Frage das Web durchsuchen, können eine Korrektur wiedergeben, sobald sie die aktualisierte Seite abrufen. Antworten aus Trainingsdaten ändern sich dagegen erst, wenn das Modell neu trainiert wird. Ein Fehler kann deshalb bei einem Assistenten verschwinden und bei einem anderen monatelang bleiben.
Das Mass hat Grenzen. Manche Aussagen lassen sich nicht an einer Liste messen, etwa die Einschätzung eines Assistenten, dass ein Mitbewerber besser zu kleinen Standorten passt. Diese gehören in eine separate Notiz und nicht in den Wert. Assistenten verweigern zudem bei kleineren Unternehmen manche Antworten, und eine Verweigerung ist weder richtig noch falsch. Deshalb zählen wir Verweigerungen separat. Und vierzig freigegebene Angaben decken nur ab, woran Sie beim Aufschreiben gedacht haben. Lesen Sie deshalb auch die als nicht überprüfbar markierten Aussagen: Sie zeigen, was Einkäufer fragen und Ihre Liste noch nicht beantwortet.
Torke arbeitet ausschliesslich mit freigegebenen Aussagen, und dieselbe Disziplin gehört hierher. Ein Assistent ist heute einer der Orte, an denen ein Einkäufer Ihre Spezifikation liest, bevor er Ihr eigenes Datenblatt liest. Das Audit funktioniert für alles, was ein Einkäufer über Sie liest, ohne dass Sie dabei sind, von Analystenzusammenfassungen bis zu Partnerseiten. Schreiben Sie diese Woche Ihre Liste freigegebener Angaben. Stellen Sie vier Assistenten fünf Fragen, die Ihr Unternehmen nennen, und zählen Sie die falschen Aussagen, denn jede verweist auf eine Seite, die sie irgendwo noch enthält.
