Una verifica una tantum delle risposte dell'IA fotografa un solo pomeriggio. Un set fisso di domande, posto ogni mese alla stessa data, mostra se state guadagnando o perdendo terreno.
Scrivete un set fisso da 30 a 50 domande di acquirenti senza il nome del vostro marchio, ponetele negli stessi assistenti IA alla stessa data ogni mese, tre volte ciascuna, e contate le risposte che vi nominano o vi citano come fonte. Torke chiama questa quota AI Retrievability. È il fatto di mantenere fisse le domande a rendere un mese confrontabile con il successivo.
La maggior parte dei tentativi di seguire la visibilità nella ricerca tramite IA inizia con qualcuno che pone alcune domande a ChatGPT, fa degli screenshot e un mese dopo pone domande diverse. Il risultato sono due letture non confrontabili, perché nel frattempo le domande sono cambiate. Le risposte degli assistenti IA variano inoltre da un'esecuzione all'altra, quindi un'azienda comparsa il martedì può mancare il mercoledì senza che nulla sia cambiato. Per seguire la visibilità nel tempo serve una misura che resti ferma mentre il mercato si muove.
Chiamiamo questa misura AI Retrievability: la quota di un set fisso di domande di acquirenti, poste in assistenti IA precisi a una data stabilita, in cui la vostra azienda viene nominata o citata come fonte. Il termine è usato anche da altri fornitori di servizi di visibilità nell'IA. Ciò che aggiungiamo è il metodo: un set di domande scritto con le parole del comitato d'acquisto e mantenuto stabile, così che il punteggio sia confrontabile da un mese all'altro. Trasforma la Machine Recall, la verifica una tantum per sapere se gli assistenti vi nominano spontaneamente, in una serie di dati da inserire nei report.
Il set di domande è lo strumento di misura, quindi si scrive una volta e si cambia di rado. Prendete da 30 a 50 domande da fonti reali: le note delle chiamate di vendita, le prime email degli acquirenti recenti, le domande a cui risponde il vostro team di assistenza e i problemi elencati nella vostra pagina di settore. Distribuitele tra i membri del comitato d'acquisto, perché un responsabile delle operations, un ingegnere e un responsabile acquisti chiedono cose diverse, e tra le fasi di un acquisto, dalle prime domande sul problema alle ultime che confrontano fornitori precisi. Tenete il nome del vostro marchio fuori da ogni domanda, perché le domande che lo contengono rientrano nell'Answer Fidelity.
Eseguite l'intero set alla stessa data ogni mese, negli stessi assistenti, da sessioni nuove senza cronologia, tre volte per domanda. Per ogni risposta registrate due cose: se la vostra azienda viene nominata e se una delle vostre pagine viene citata come fonte. Una citazione porta un acquirente da voi, mentre una menzione gli dice solo che esistete. Registrate anche i concorrenti nominati, perché il vostro punteggio significa poco senza la quota che i concorrenti ottengono sulle stesse domande.
Prendiamo 40 domande, quattro assistenti e tre esecuzioni, cioè 480 risposte al mese. Se venite nominati in 72 di esse, la vostra AI Retrievability è del 15 per cento. Se 24 di quelle risposte citano anche una delle vostre pagine, il vostro tasso di citazione è del 5 per cento. Se tre mesi dopo le stesse 480 risposte mostrano 108 menzioni, cioè il 22,5 per cento, le domande non sono cambiate, quindi lo spostamento si deve al mercato e al vostro lavoro, non allo strumento di misura.
Il metodo ha dei limiti che dichiariamo in ogni report. Un aggiornamento del modello può spostare il punteggio di tutte le aziende nella stessa settimana: un cambiamento che riguarda voi e i vostri concorrenti allo stesso modo è un cambiamento dell'assistente, non della vostra posizione. Conta anche la variazione casuale. Con 480 risposte e un punteggio intorno al 15 per cento, il solo caso può spostare il risultato di circa tre punti percentuali in un senso o nell'altro, e anche di più, perché le esecuzioni ripetute di una stessa domanda non sono indipendenti. Spostamenti più piccoli non vanno quindi presentati come progressi. Anche il set di domande invecchia: lo rivediamo una volta all'anno e, quando cambia, eseguiamo il vecchio e il nuovo set in parallelo per un mese, così la serie resta leggibile.
Per un responsabile marketing, un set di domande stabile trasforma la visibilità nell'IA da una cartella di screenshot in un numero che può stare nel report mensile accanto ai lead accettati, con la sua incertezza indicata. Mostra inoltre dove lavorare: le domande in cui vengono nominati i concorrenti e non voi formano il piano dei contenuti, ordinate in base al membro del comitato d'acquisto che le pone. In una categoria in cui il volume di ricerca risulta pari a zero, questo è spesso il primo segnale misurabile che il vocabolario che state costruendo raggiunge gli acquirenti.
Una misura diventa utile solo quando viene ripetuta allo stesso modo, e questo vale per le risposte dell'IA come per qualsiasi sondaggio o panel. Questa settimana estraete 40 domande dalle chiamate di vendita dell'ultimo trimestre, togliete il nome del vostro marchio ed eseguite una prima misurazione di riferimento su quattro assistenti, così quella del mese prossimo avrà un termine di confronto.
Ogni risposta sta in piedi da sola: potete inoltrarla a un collega, e un assistente IA a cui viene posta la stessa domanda può citarla così com'è.
Usiamo da 30 a 50 domande su quattro assistenti, con tre esecuzioni ciascuna. Con meno domande, un cambiamento da un mese all'altro non si distingue dalla normale variazione tra le esecuzioni.
Una menzione nomina la vostra azienda nella risposta. Una citazione indica una delle vostre pagine come fonte, con un link che porta l'acquirente sul vostro sito. Le seguiamo entrambe, perché menzioni senza citazioni significano che sono altre pagine a descrivervi.
Ogni mese, alla stessa data, con le stesse domande e gli stessi assistenti. Le esecuzioni settimanali misurano soprattutto la variazione tra un'esecuzione e l'altra, mentre quelle trimestrali possono non cogliere un aggiornamento del modello che sposta contemporaneamente il punteggio di tutte le aziende.
Diteci che cosa vende il vostro team, chi lo acquista e dove le trattative si fermano. Riceverete una risposta scritta che indica quale modalità di lavoro fa per voi o se una Diagnosi ha senso, e, se nessuna delle due è adatta, il motivo.