Les assistants d'IA décrivent la plupart des entreprises à peu près correctement et se trompent sur quelques faits. Nous comptons les affirmations erronées, remontons chacune à la page dont elle provient et corrigeons cette page.
Notez les faits qu'un acheteur pourrait vérifier, posez à chaque assistant des questions qui nomment votre entreprise, et classez chaque affirmation comme correcte, dépassée, erronée ou invérifiable. Torke appelle la part correcte Answer Fidelity. Corrigez ensuite les sources d'où viennent les erreurs, anciennes pages, annuaires contradictoires et faits manquants, car les assistants répètent ce qu'ils lisent.
Quand ChatGPT dispose d'informations erronées sur votre entreprise, l'erreur paraît rarement spectaculaire. Il cite un produit que vous avez abandonné, place votre siège dans la mauvaise ville, vous attribue une certification que vous n'avez jamais eue ou omet celle que vous avez mis un an à obtenir, et il le dit avec le même ton assuré que les faits qu'il donne correctement. Un acheteur technique qui interroge un assistant à votre sujet avant un premier appel emporte cette description en réunion, et une seule spécification erronée peut mettre fin à une évaluation qu'un sponsor voulait poursuivre.
Nous appelons cette mesure Answer Fidelity : lorsqu'un assistant d'IA est interrogé sur votre entreprise par son nom, la part de ses affirmations factuelles qui sont correctes au regard de vos faits approuvés. Elle se place à côté de la Machine Recall, qui demande si un assistant vous cite quand l'acheteur ne le fait pas, et les deux peuvent évoluer en sens inverse, puisqu'une entreprise souvent mentionnée et mal décrite subit plus de dégâts qu'une entreprise rarement mentionnée et bien décrite.
Les réponses erronées ont trois causes habituelles, et chacune appelle une réparation différente. La première, ce sont les anciennes pages, comme une fiche produit archivée, un ancien communiqué de presse ou une entrée d'annuaire que personne n'a mise à jour, que l'assistant trouve encore parce qu'elles sont toujours publiques. La deuxième, ce sont les pages qui se contredisent, comme un site web qui indique une année de fondation alors qu'une base de données de financement en indique une autre, ce qui laisse l'assistant choisir. La troisième est un manque, un fait qui n'apparaît nulle part en texte clair, comme les secteurs que vous servez ou les normes que vous respectez, et que l'assistant comble avec ce que font habituellement des entreprises similaires.
La mesure commence par une liste écrite de faits approuvés, vingt à quarante affirmations qu'un acheteur pourrait vérifier, comme ce que vous vendez, où vous opérez, quelles certifications vous détenez, quels secteurs vous servez et quelles intégrations vous prenez en charge, chacune validée par la personne qui en est responsable. Posez ensuite à chaque assistant cinq à dix questions qui nomment votre entreprise, comme ce qu'elle vend, comment elle se compare à un concurrent nommé et ce que son système peut et ne peut pas faire, et découpez chaque réponse en affirmations factuelles isolées. Classez chaque affirmation comme correcte, dépassée, erronée ou invérifiable au regard de la liste, et divisez les affirmations correctes par l'ensemble des affirmations que vous avez pu juger.
Prenons quatre assistants et huit questions, qui pourraient produire environ 160 affirmations factuelles au total. Si 128 d'entre elles correspondent à la liste approuvée, l'Answer Fidelity est de 80 pour cent, et les 32 qui ne correspondent pas deviennent la liste de travail. Lorsque plusieurs assistants répètent la même erreur, elle vient généralement d'une source commune, si bien qu'un seul nom de produit dépassé peut expliquer une grande partie des 32, et corriger cette source fait davantage bouger le score que n'importe quelle nouvelle page.
Corriger signifie corriger la source plutôt que la réponse, car vous ne pouvez pas modifier ce que dit un assistant, seulement ce qu'il lit. Pour chaque affirmation erronée, trouvez la page dont elle provient le plus probablement, en demandant ses sources à l'assistant ou en recherchant la formulation erronée, puis mettez à jour, redirigez ou supprimez cette page, corrigez les entrées d'annuaires et de bases de données que vous contrôlez, et écrivez les faits manquants en phrases claires sur les pages que les acheteurs et les assistants lisent en premier. Les assistants qui interrogent le web au moment de la question peuvent refléter une correction dès qu'ils récupèrent la page mise à jour, alors que les réponses tirées des données d'entraînement ne changent qu'au réentraînement du modèle, si bien qu'une erreur peut disparaître d'un assistant et persister dans un autre pendant des mois.
La mesure a des limites. Certaines affirmations ne peuvent pas être jugées au regard d'une liste, comme l'avis d'un assistant selon lequel un concurrent convient mieux aux petits sites, et elles ont leur place dans une note séparée plutôt que dans le score. Les assistants refusent aussi de répondre à certaines questions sur les petites entreprises, et un refus n'est ni juste ni faux, si bien que nous comptons les refus à part. Enfin, quarante faits approuvés ne couvrent que ce que vous avez pensé à écrire, alors lisez aussi les affirmations classées invérifiables, car elles montrent ce que demandent les acheteurs et à quoi votre liste ne répond pas encore.
Torke travaille uniquement à partir d'affirmations approuvées, et la même discipline s'impose ici, car un assistant est désormais l'un des endroits où un acheteur lit votre spécification avant de lire votre propre fiche. L'audit fonctionne pour tout ce qu'un acheteur lit à votre sujet sans que vous soyez dans la pièce, des synthèses d'analystes aux pages de partenaires. Rédigez cette semaine votre liste de faits approuvés, posez à quatre assistants cinq questions qui nomment votre entreprise, et comptez les affirmations erronées, puisque chacune renvoie à une page qui, quelque part, l'affirme encore.
Chaque réponse se suffit à elle-même : vous pouvez la transmettre à un collègue, et un assistant interrogé sur la même question peut la citer telle quelle.
Très probablement parce qu'une ancienne page décrivant le produit est encore publique, comme une fiche produit archivée ou une entrée d'annuaire, et que l'assistant la récupère ou l'a apprise. Mettre à jour, rediriger ou supprimer cette page constitue la réparation.
Les assistants qui interrogent le web à la demande peuvent refléter une correction dès qu'ils récupèrent la page mise à jour. Les réponses tirées des données d'entraînement ne changent qu'au réentraînement du modèle, si bien que le délai diffère d'un assistant à l'autre.
Vingt à quarante affirmations qu'un acheteur pourrait vérifier : ce que vous vendez, où vous opérez, certifications, secteurs servis, intégrations, année de fondation et direction, chacune validée par la personne responsable de ce fait.
Dites-nous ce que vend votre équipe, qui l'achète et où les affaires cessent d'avancer. Vous recevrez une réponse écrite indiquant quelle façon de travailler vous convient, ou si un Diagnostic a du sens, et si aucun des deux ne convient, la raison.