Carta della misurazione

Misurare in chiaro

Stato di attuazione. Le sezioni qui sotto descrivono il metodo come sarà a regime. Le attività ancora da completare e le relative scadenze sono riportate nella sezione finale «Dove non siamo ancora all’altezza».

Misuriamo due cose che nessuno, oggi, certifica: come funziona la ricerca interna dei negozi online e come le intelligenze artificiali citano i marchi. Proprio perché manca un'autorità che controlli, scegliamo di farci controllare da chiunque: in questa pagina diciamo come misuriamo, chi giudica, cosa pubblichiamo e cosa conserviamo. E, alla fine, dove non siamo ancora all'altezza delle regole che ci siamo dati, con una data per ogni correzione.

Il metodo si ispira ai principi di trasparenza e verificabilità richiamati da AGCOM per le misure di audience (delibera 262/22/CONS), senza che ciò implichi alcuna certificazione o approvazione da parte dell'Autorità. Come riferimento per la buona pratica guardiamo alle norme internazionali sulla ricerca di mercato e sull'analisi dei dati digitali (ISO 20252 e ISO 19731), alle linee guida ESOMAR sull'uso dell'intelligenza artificiale nella ricerca e al GDPR. Nessuna delle nostre misure è certificata, e non usiamo questa parola.

Misuriamo negozi che possono essere, o diventare, nostri clienti. Per questo valgono regole precise. La misura pubblicata è effettuata con lo stesso algoritmo e lo stesso metodo per tutti, clienti e non clienti. L'audit a pagamento è un servizio separato e indipendente dalla pubblicazione: non modifica il punteggio pubblicato né la permanenza della scheda.

Testimone: la ricerca interna vista da un cliente

Testimone osserva la barra di ricerca dei negozi online italiani dall'esterno, esattamente come la usa un cliente. Nessun dato ci viene passato dal negozio misurato: ciò che pubblichiamo è ciò che chiunque vedrebbe facendo le stesse ricerche.

Cosa misura

Per ogni negozio costruiamo 25 ricerche sul suo catalogo, più alcune parole di controllo. Le ricerche su prodotti che il negozio non vende non contano come errori. Il punteggio somma cinque voci da 20 punti; dall'esterno il massimo ottenibile è 75 su 100, perché alcune qualità si vedono solo da dentro. Quel numero è un pavimento, non un voto. Un guasto del server del negozio non conta come ricerca senza risultati.

Come raccoglie

Testimone entra solo dalla barra di ricerca, a passo d'uomo, in sola lettura, una volta sola. Il browser si dichiara come «Testimone» e rimanda a questa pagina, così chi gestisce il sito sa chi è passato e come contattarci. Rispettiamo robots.txt come espressione della volontà del sito: se un negozio esclude le pagine di ricerca, non lo misuriamo. Se un sito respinge la visita non insistiamo, non aggiriamo i blocchi e non lo inseriamo in classifica.

Chi giudica

I conteggi sono misure. La pertinenza dei risultati, cioè se una risposta del motore di ricerca è giusta, debole o sbagliata, è un giudizio, e lo dà un modello di linguaggio. Pubblichiamo quale modello, con quale istruzione e con quale versione del metodo. Quando il modello cambia, cambia la versione del metodo, e i punteggi di versioni diverse non vengono confrontati fra loro.

Controllo umano

Una persona rivede il 10% dei giudizi di ogni scheda pubblica. Le correzioni vengono registrate accanto al giudizio del modello, così possiamo pubblicare quanto spesso persona e modello sono d'accordo.

Cosa pubblichiamo

URL, nome del sito e marchio, punteggio, versione del metodo, data della misura e le falle rilevate. Le falle sono dati tecnici, non giudizi sul negozio: per esempio, «nelle prove effettuate, la ricerca interna non ha restituito risultati pertinenti per il 40% delle query in linguaggio naturale». Non pubblichiamo dati personali né le pagine dei negozi.

Conservazione

Le pagine rilevate restano in un archivio interno su server in Unione Europea (Francoforte), non accessibile al pubblico, per un massimo di 3 anni. Le conserviamo al solo fine di documentare la correttezza della misura in caso di contestazione. Ogni rilevamento è fissato con un'impronta SHA-256, che dimostra che i dati non sono stati ritoccati dopo la pubblicazione.

Contestazioni e cancellazione

Rispondiamo alle contestazioni entro 24 ore lavorative. Le ricerche contestate vengono rifatte, la versione precedente resta registrata e la rimisurazione è gratuita. Un errore sui dati si corregge nel programma, per tutti, non nella riga del singolo negozio. Il registro delle contestazioni è pubblico. Su richiesta del titolare, la scheda viene rimossa dalla classifica entro 72 ore; una copia dei dati rilevati resta nell'archivio interno per al massimo 3 anni, al solo fine di documentare la misura in caso di contestazione.

Scipio: il negozio nelle risposte delle intelligenze artificiali

Scipio misura quanto le intelligenze artificiali conoscono e citano un negozio quando un utente italiano chiede consiglio per un acquisto. Il risultato pubblico è il valore «presenza nelle risposte AI», da 0 a 100, che compare nella scheda Testimone del negozio. Le risposte di questi sistemi cambiano da una volta all'altra: per questo il valore è accompagnato dal suo margine di errore.

Cosa misura

Poniamo a ChatGPT, Gemini, Google AI Mode e Google AI Overview domande d'acquisto generiche del settore del negozio e domande che contengono il suo nome. Contiamo se il negozio viene citato, in quante domande e con che quota rispetto ai concorrenti, e se l'AI lo conosce davvero o lo confonde con un altro.

Come raccoglie

Le risposte sono raccolte da un fornitore terzo (Cloro), che interroga le interfacce pubbliche dei servizi con sessioni di browser non autenticate localizzate in Italia, instradate attraverso proxy. Non usiamo le API ufficiali dei fornitori di IA, perché le loro risposte differiscono da quelle che vede un utente. Il paese è impostato su Italia tramite il fornitore di raccolta e la sua disponibilità su ogni servizio viene ricontrollata periodicamente.

Chi giudica

I giudici sono due. Jev di TypeSafe decide quali marchi sono menzionati in una risposta e con che tono. Un modello di linguaggio (DeepSeek) valuta se l'AI conosce il negozio e riconosce i suoi concorrenti. Ogni valore pubblicato indica la versione di entrambi.

Controllo umano

Una persona rivede il 10% dei giudizi. Ogni volta che un giudice conclude che l'AI confonde il negozio con un altro, il caso viene verificato da una persona prima della pubblicazione.

Ripetizioni e margine di errore

Ogni misura dichiara quante volte è stata posta ciascuna domanda, e il valore è pubblicato con il suo intervallo di confidenza al 95%. Un valore con un margine ampio va letto come un'indicazione, non come una posizione precisa.

Il punteggio da 0 a 100

Il punteggio vale 100 × (0,7 × generico + 0,3 × conoscenza). Il valore generico pesa per metà la presenza, per un quarto la copertura delle domande e per un quarto la quota rispetto ai concorrenti. La conoscenza vale 1 se l'AI conosce il negozio, 0,5 se lo conosce vagamente, 0 se non lo conosce o lo confonde con un altro. Ogni modifica della formula entra nel registro delle versioni.

Configurazione dichiarata

Accanto a ogni valore pubblicato indichiamo versione del metodo, paese e lingua, servizi interrogati, ripetizioni, date di raccolta, versioni dei giudici e copertura per servizio. La copertura distingue i casi in cui il servizio non ha mostrato nessuna risposta AI da quelli in cui la raccolta è fallita.

Dove vanno i dati

Le domande riguardano negozi e marchi, non persone. I dati sono conservati su server in Unione Europea (Francoforte); per l'elaborazione passano da fornitori negli Stati Uniti (Cloro, TypeSafe, Anthropic) e in Cina (DeepSeek).

Conservazione e codice

Le risposte raccolte sono conservate per 3 anni, con copie di sicurezza, e ogni giro di misura è fissato con un'impronta SHA-256. La telemetria di terze parti è disattivata. Scipio è un progetto open source, con licenza MIT, derivato da Elmo e localizzato per l'Italia: il codice è consultabile su github.com/vr0nsky/scipio.

Dove non siamo ancora all'altezza

Le sezioni qui sopra descrivono il metodo come sarà a regime. Oggi alcune parti non sono ancora in linea con le regole che ci siamo dati, e preferiamo dirlo noi. Ecco cosa manca e la data entro cui lo correggiamo. Quando una voce è fatta la segniamo qui; se una data slitta, la spostiamo spiegando perché.

Entro il 20 novembre 2026

Le correzioni più urgenti riguardano ciò che oggi scriviamo e non possiamo ancora dimostrare.

• Testimone. La tolleranza di ±5 punti indicata nei criteri non è mai stata misurata: la togliamo. Fino allo studio di ripetibilità scriviamo solo quello che sappiamo: su 13 misure ripetute, 8 hanno dato lo stesso punteggio, e differenze piccole fra negozi vicini in classifica non vanno considerate significative.
• Testimone. Le pagine con le regole e la cancellazione vengono allineate a questa: risposta entro 24 ore lavorative, scheda rimossa entro 72 ore, archivio interno per al massimo 3 anni.
• Scipio. Il valore «presenza nelle risposte AI» oggi compare in alcune schede senza margine di errore e senza la versione del metodo: lo togliamo finché non può uscire completo.

Entro il 10 dicembre 2026

La seconda tappa rende verificabile ogni singola misura: chi l'ha fatta, con che cosa, quando.

• Testimone. Il modello che giudica la pertinenza non è registrato nelle schede emesse finora. Da questa data lo registriamo a ogni misura, pubblichiamo l'istruzione che riceve e ogni scheda riporta versione del metodo, data e modello.
• Testimone. Il browser di raccolta si dichiara come «Testimone» e robots.txt viene letto, conservato e rispettato a ogni visita.
• Testimone. L'archivio passa alla conservazione di 3 anni e ogni rilevamento viene fissato con un'impronta SHA-256.
• Testimone. Le correzioni fatte dalla persona che rivede il 10% dei giudizi vengono registrate accanto al giudizio del modello.
• Scipio. Il calcolo del punteggio entra nel codice pubblico, con il registro delle versioni, e il valore torna nelle schede con intervallo di confidenza, versioni dei giudici e configurazione completa.
• Scipio. La copertura per servizio separa le risposte AI assenti dagli errori di raccolta.
• Scipio. Le correzioni fatte dalla persona che rivede il 10% dei giudizi vengono registrate accanto al giudizio automatico.
• Scipio. Le risposte raccolte passano alla conservazione di 3 anni, con copie di sicurezza e impronta SHA-256 per ogni giro; il repository documenta i limiti noti.

Entro il 31 dicembre 2026

L'ultima tappa porta i numeri che servono a dire quanto ci si può fidare delle misure.

• Testimone. Pubblichiamo lo studio di ripetibilità e la tolleranza misurata. Da quel momento le frecce di salita e discesa compaiono solo per variazioni più grandi di quella soglia.
• Testimone. Pubblichiamo quanto spesso la persona e il modello sono d'accordo sui giudizi di pertinenza.
• Testimone. Il registro delle contestazioni diventa consultabile da tutti, con il nome del negozio solo se ci dà il consenso.
• Scipio. Pubblichiamo quanto sono stabili le citazioni da un giro all'altro e quanto spesso la persona e i giudici automatici sono d'accordo.

Ultimo aggiornamento di questa sezione: 2 novembre 2026.