Quando ChatGPT ha informazioni errate sulla vostra azienda, l'errore raramente salta all'occhio. Elenca un prodotto che avete dismesso, colloca la vostra sede nella città sbagliata, vi attribuisce una certificazione che non avete mai avuto o tralascia quella che avete impiegato un anno a ottenere. E lo dice con lo stesso tono sicuro dei fatti che riporta correttamente. Un acquirente tecnico che interroga un assistente su di voi prima di una prima telefonata porta quella descrizione all'incontro, e una sola specifica errata può chiudere una valutazione che un sostenitore interno voleva portare avanti.
Questa misura si chiama Answer Fidelity: quando si interroga un assistente IA sulla vostra azienda, citandola per nome, è la quota delle sue affermazioni fattuali corrette rispetto ai vostri fatti approvati. Si affianca alla Machine Recall, che verifica se un assistente vi nomina quando l'acquirente non lo fa. Le due misure possono muoversi in direzioni opposte, perché un'azienda citata spesso e descritta male subisce più danni di una citata di rado e descritta bene.
Le risposte errate hanno tre cause abituali, e ognuna richiede una correzione diversa. La prima sono le pagine vecchie, come una scheda prodotto archiviata, un vecchio comunicato stampa o una voce di directory che nessuno ha aggiornato: l'assistente le trova ancora perché sono ancora pubbliche. La seconda sono le pagine che si contraddicono, come un sito che indica un anno di fondazione mentre una banca dati sui finanziamenti ne indica un altro, e lasciano all'assistente la scelta. La terza è una lacuna, cioè un fatto che non compare da nessuna parte scritto chiaramente, come i settori serviti o le norme rispettate, e l'assistente la colma con ciò che fanno di solito aziende simili.
La misurazione parte da un elenco scritto di fatti approvati: da venti a quaranta affermazioni che un acquirente potrebbe verificare, come che cosa vendete, dove operate, quali certificazioni avete, quali settori servite e quali integrazioni supportate, ciascuna convalidata dalla persona che ne è responsabile. Ponete poi a ogni assistente da cinque a dieci domande che nominano la vostra azienda, ad esempio che cosa vende, come si posiziona rispetto a un concorrente preciso e che cosa il suo sistema può e non può fare, e scomponete ogni risposta in singole affermazioni fattuali. Classificate ogni affermazione come corretta, superata, errata o non verificabile rispetto all'elenco e dividete quelle corrette per tutte quelle che avete potuto giudicare.
Prendiamo quattro assistenti e otto domande, che potrebbero produrre in tutto circa 160 affermazioni fattuali. Se 128 corrispondono all'elenco approvato, l'Answer Fidelity è dell'80 per cento, e le 32 che non corrispondono diventano la lista di lavoro. Quando più assistenti ripetono lo stesso errore, di solito questo proviene da un'unica fonte condivisa. Un solo nome di prodotto superato può quindi spiegare buona parte delle 32, e correggere quella fonte sposta il punteggio più di qualsiasi pagina nuova.
Correggere significa intervenire sulla fonte e non sulla risposta, perché non potete modificare ciò che dice un assistente, solo ciò che legge. Per ogni affermazione errata, cercate la pagina da cui molto probabilmente proviene, chiedendo all'assistente le sue fonti o cercando la frase errata. Poi aggiornate, reindirizzate o rimuovete quella pagina, correggete le voci di directory e banche dati che gestite e scrivete i fatti mancanti in frasi semplici sulle pagine che acquirenti e assistenti leggono per prime. Gli assistenti che cercano sul web al momento della domanda possono riflettere una correzione appena recuperano la pagina aggiornata. Le risposte tratte dai dati di addestramento cambiano invece solo quando il modello viene riaddestrato, quindi un errore può sparire da un assistente e restare in un altro per mesi.
La misura ha dei limiti. Alcune affermazioni non si possono giudicare rispetto a un elenco, come l'opinione di un assistente secondo cui un concorrente è più adatto agli impianti piccoli, e vanno in una nota separata invece che nel punteggio. Gli assistenti inoltre rifiutano di rispondere ad alcune domande sulle aziende più piccole, e un rifiuto non è né giusto né sbagliato, quindi contiamo i rifiuti a parte. Infine, quaranta fatti approvati coprono solo ciò che avete pensato di scrivere. Leggete quindi anche le affermazioni classificate come non verificabili, perché mostrano che cosa chiedono gli acquirenti a cui il vostro elenco non risponde ancora.
Torke lavora solo con claim approvati, e la stessa disciplina vale qui, perché un assistente è ormai uno dei luoghi in cui un acquirente legge le vostre specifiche prima ancora della vostra scheda tecnica. L'audit funziona per tutto ciò che un acquirente legge su di voi quando non siete presenti, dalle sintesi degli analisti alle pagine dei partner. Questa settimana scrivete il vostro elenco di fatti approvati, ponete a quattro assistenti cinque domande che nominano la vostra azienda e contate le affermazioni errate: ognuna rimanda a una pagina che, da qualche parte, la riporta ancora.
