Une vérification ponctuelle des réponses de l'IA décrit un seul après-midi. Un jeu de questions fixe, posé à une date fixe chaque mois, montre si vous gagnez ou perdez du terrain.
Rédigez un jeu fixe de 30 à 50 questions d'acheteurs sans votre nom de marque, posez-les dans les mêmes assistants d'IA à la même date chaque mois, trois fois chacune, et comptez les réponses qui vous citent ou renvoient à vous comme source. Torke appelle cette part AI Retrievability, et garder les questions fixes est ce qui rend un mois comparable au suivant.
La plupart des tentatives de suivi de la visibilité dans la recherche IA commencent par quelqu'un qui pose quelques questions à ChatGPT, fait des captures d'écran, puis pose d'autres questions un mois plus tard, ce qui produit deux lectures impossibles à comparer puisque les questions ont changé entre-temps. Les réponses des assistants d'IA varient aussi d'une exécution à l'autre, si bien qu'une entreprise présente le mardi peut être absente le mercredi sans que rien n'ait changé. Suivre la visibilité dans le temps exige une mesure qui reste immobile pendant que le marché bouge autour d'elle.
Nous appelons cette mesure AI Retrievability : la part d'un jeu fixe de questions d'acheteurs, posées dans des assistants d'IA nommés à une date fixe, dans lesquelles votre entreprise est citée nommément ou comme source. D'autres fournisseurs de visibilité IA emploient aussi ce terme, et ce que nous apportons, c'est la méthode, un jeu de questions rédigé avec les mots du groupe d'achat et maintenu stable, pour que le score se compare d'un mois à l'autre. Elle transforme la Machine Recall, la vérification ponctuelle de la capacité des assistants à vous citer spontanément, en une série dont vous pouvez rendre compte.
Le jeu de questions est l'instrument, il est donc rédigé une fois et rarement modifié. Prenez 30 à 50 questions dans des sources réelles : vos notes d'appels commerciaux, les premiers e-mails d'acheteurs récents, les questions auxquelles répond votre équipe support et les problèmes listés sur votre page sectorielle. Répartissez-les entre les membres du groupe d'achat, puisqu'un responsable des opérations, un ingénieur et un responsable achats ne demandent pas la même chose, et entre les étapes d'un achat, des premières questions sur le problème aux dernières questions comparant des fournisseurs nommés. Gardez votre nom de marque hors de chaque question, car les questions qui le contiennent relèvent de l'Answer Fidelity.
Exécutez le jeu complet à la même date chaque mois, dans les mêmes assistants, depuis des sessions neuves sans historique, trois fois par question. Pour chaque réponse, notez deux choses : si votre entreprise est citée, et si l'une de vos pages est donnée comme source, car une citation de source envoie un acheteur vers vous alors qu'une simple mention lui apprend seulement que vous existez. Notez aussi les concurrents cités, puisque votre score veut dire peu de chose sans la part que détiennent vos concurrents sur les mêmes questions.
Prenons 40 questions, quatre assistants et trois exécutions, soit 480 réponses par mois. Si vous êtes cité dans 72 d'entre elles, votre AI Retrievability est de 15 pour cent, et si 24 de ces réponses donnent aussi l'une de vos pages comme source, votre taux de citation en source est de 5 pour cent. Si, trois mois plus tard, les mêmes 480 réponses montrent 108 mentions, soit 22.5 pour cent, les questions n'ont pas changé, et le mouvement tient donc au marché et à votre travail plutôt qu'à l'instrument.
La méthode a des limites que nous énonçons dans chaque rapport. Une mise à jour de modèle peut faire bouger le score de toutes les entreprises la même semaine, si bien qu'un changement partagé par vous et vos concurrents est un changement de l'assistant plutôt que de votre position. La variation aléatoire compte aussi : avec 480 réponses et un score autour de 15 pour cent, le hasard seul peut déplacer le résultat d'environ trois points de pourcentage dans un sens ou dans l'autre, et davantage encore parce que les exécutions répétées d'une même question ne sont pas indépendantes, si bien que les mouvements plus faibles ne doivent pas être présentés comme des progrès. Le jeu de questions vieillit aussi, et nous le revoyons donc une fois par an, en faisant tourner l'ancien et le nouveau jeu côte à côte pendant un mois lorsqu'il change, ce qui garde la série lisible.
Pour un responsable marketing, un jeu de questions stable transforme la visibilité IA, d'un dossier de captures d'écran, en un chiffre qui peut figurer dans le rapport mensuel à côté des leads acceptés, avec son incertitude. Il montre aussi où travailler, car les questions sur lesquelles des concurrents sont cités et pas vous forment le plan de contenu, classé selon le membre du groupe d'achat qui les pose. Dans une catégorie où le volume de recherche affiche zéro, c'est souvent le premier signe mesurable que le vocabulaire que vous construisez atteint les acheteurs.
Une mesure ne devient utile que lorsqu'elle est répétée de la même façon, ce qui vaut pour les réponses de l'IA autant que pour n'importe quelle enquête ou panel. Tirez cette semaine 40 questions de vos appels commerciaux du dernier trimestre, retirez-en votre nom de marque, et faites une première mesure de référence dans quatre assistants, pour que l'exécution du mois prochain ait un point de comparaison.
Chaque réponse se suffit à elle-même : vous pouvez la transmettre à un collègue, et un assistant interrogé sur la même question peut la citer telle quelle.
Nous utilisons 30 à 50 questions dans quatre assistants, avec trois exécutions chacune. Avec moins de questions, un changement d'un mois à l'autre ne peut pas être distingué de la variation normale entre exécutions.
Une mention nomme votre entreprise dans la réponse. Une citation de source renvoie à l'une de vos pages comme source, ce qui envoie l'acheteur sur votre site. Nous suivons les deux, car des mentions sans citations de source signifient que ce sont d'autres pages qui vous décrivent.
Chaque mois, à la même date, avec les mêmes questions et les mêmes assistants. Des exécutions hebdomadaires mesurent surtout la variation entre exécutions, alors que des exécutions trimestrielles peuvent manquer une mise à jour de modèle qui déplace d'un coup le score de toutes les entreprises.
Dites-nous ce que vend votre équipe, qui l'achète et où les affaires cessent d'avancer. Vous recevrez une réponse écrite indiquant quelle façon de travailler vous convient, ou si un Diagnostic a du sens, et si aucun des deux ne convient, la raison.