I criteri con cui misuriamo la ricerca interna di un negozio
Che cosa misuriamo
Non misuriamo il motore di ricerca: misuriamo quello che ottiene un cliente. Un negozio con un motore costoso configurato male prende meno di un negozio con la ricerca nativa della sua piattaforma e un catalogo scritto bene.
Come facciamo la prova
Venticinque ricerche, piu' fino a sei parole di controllo, in una sessione sola, dalla barra di ricerca del sito, con pause fra una ricerca e l'altra. Leggiamo quello che risponde la pagina, come lo leggerebbe un cliente.
Non entriamo in nessun account, non compiliamo moduli, non lasciamo recapiti, non scarichiamo cataloghi.
Le parole di controllo
Alle venticinque ricerche aggiungiamo la parola singola presa dalle ricerche composte. Servono a distinguere una ricerca che non funziona da un prodotto che non c'e'.
Se "tavolo allungabile 160 cm" non trova niente ma "tavolo" trova, il problema e' della ricerca. Se non trova niente nemmeno "tavolo", quel negozio i tavoli non li vende, e non e' una falla.
Quali sono le venticinque ricerche
Non sono le stesse per tutti: sono costruite sulla merce che quel negozio vende davvero, letta dal suo menu e dalle sue pagine di catalogo. Le categorie sono sempre queste:
| quante | che cosa provano |
|---|---|
| 3 | il nome secco di una categoria portante, una parola sola |
| 4 | due parole: prodotto piu' materiale, tecnologia o destinazione |
| 4 | tre parole, con dentro una misura |
| 5 | il termine popolare, cioe' la parola che usa il cliente e che nel listino non compare |
| 5 | la frase parlata, scritta come la direbbe una persona |
| 2 | un refuso di una lettera sola su una parola centrale |
| 1 | un plurale doppio, sostantivo e aggettivo entrambi al plurale |
| 1 | un numero attaccato a un'unita' di misura |
Le venticinque ricerche usate per un negozio sono pubblicate per intero nella sua scheda, insieme all'esito di ognuna.
Le domande di un negozio si fissano la prima volta e non cambiano piu'. Il punteggio dipende da che cosa si chiede: se rifacessimo le domande a ogni rilevamento, lo stesso negozio si sposterebbe di qualche punto senza che da lui sia cambiato niente, e due misure non si potrebbero confrontare.
Che cosa e' misura e che cosa e' giudizio
Misura. Quante ricerche hanno restituito qualcosa, quanti risultati dichiara la pagina, quanto ha tardato la risposta, se i filtri ci sono, che motore risponde, quali reparti erano vuoti. Sono conteggi: chiunque rifaccia la prova trova gli stessi numeri.
Giudizio. Se un risultato e' pertinente, debole, sbagliato o fuori catalogo. Lo decide un modello di linguaggio leggendo quello che la pagina ha restituito.
Il punteggio nasce dai conteggi. Il giudizio entra solo dove serve dire se quello che e' stato trovato era la cosa giusta.
Le cinque voci del punteggio
Venti punti ciascuna, cento in totale.
1. Copertura, 20 punti
Quante ricerche danno un risultato pertinente.
| ricerche riuscite | punti |
|---|---|
| 23 o piu' | 20 |
| 20 | 16 |
| 16 | 12 |
| 12 | 8 |
| 8 | 4 |
| meno di 8 | 0 |
Le soglie sono riproporzionate sul numero di ricerche che il catalogo poteva soddisfare: le ricerche fuori catalogo non contano come falle.
2. Lingua del cliente, 20 punti
Le dieci ricerche che non usano le parole del listino: i cinque termini popolari e le cinque frasi parlate.
| ricerche riuscite | punti |
|---|---|
| 8 o piu' | 20 |
| 6 o 7 | 15 |
| 4 o 5 | 10 |
| 2 o 3 | 5 |
| meno di 2 | 0 |
E' la voce che separa un motore configurato da un motore installato.
3. Tolleranza e forma, 20 punti
Cinque punti per ciascuno di quattro comportamenti:
- regge il refuso di una lettera;
- regge il plurale doppio;
- regge il numero attaccato all'unita' di misura;
- almeno tre delle quattro ricerche di tre parole funzionano.
4. Governo dei risultati, 20 punti
Non basta trovare: bisogna poter restringere.
Dall'esterno se ne verificano 6: i filtri compaiono in almeno la meta' delle pagine di ricerca che hanno restituito prodotti.
Gli altri 14 punti riguardano l'utilita' dei filtri, la leggibilita' delle etichette, l'ordinamento e le fasce di prezzo: dall'esterno non si vedono e non si assegnano.
5. Impianto, 20 punti
Dall'esterno se ne verificano 9: 6 punti se risponde un motore dedicato invece della ricerca nativa della piattaforma, 3 punti se il tempo di risposta mediano sta sotto i 300 millesimi di secondo.
Gli altri 11 punti riguardano se la descrizione di prodotto entri nella ricerca, se ci sia ricerca per significato e se nell'indice ci siano residui di prova: dall'esterno non si vedono e non si assegnano.
Il totale e' un pavimento, non un voto
Dall'esterno il massimo ottenibile e' 75 su 100: venticinque punti riguardano cose che si vedono solo da dentro un negozio.
Il punteggio va letto come "almeno questo". Ogni scheda dichiara quanti punti il rilevamento non ha potuto verificare. Un negozio che prende 62 non ha perso 38 punti: una parte non gliela abbiamo potuta contare.
La misura ha una tolleranza di cinque punti
Il punteggio e' riproducibile entro circa cinque punti. E' un dato misurato: rifacendo il passo del giudizio sugli stessi dati, senza visitare di nuovo il sito, lo stesso negozio puo' dare 61 o 66.
Le fasce
| punti | giudizio |
|---|---|
| 85-100 | impianto maturo |
| 65-84 | buono con falle localizzate |
| 45-64 | funziona per chi sa gia' il nome |
| 25-44 | perde clienti ogni giorno |
| 0-24 | ricerca nativa non governata |
Il rilevamento e' una fotografia a una data
Il punteggio vale per il giorno in cui la prova e' stata fatta, e quel giorno e' scritto accanto al punteggio. Un rifacimento del catalogo lo puo' cambiare in un mese.