Tranco, l'outil de mesure qui a pris la place de l'Alexa Rank
Né dans une université belge pour offrir aux chercheurs un classement fiable des sites, il est devenu la référence gratuite pour savoir à quel point un domaine est populaire. Voici comment il fonctionne et ce qu'il peut (et ne peut pas) nous dire.
Le 1er mai 2022, Amazon a fermé Alexa.com, et avec lui l'Alexa Rank. Pendant plus de vingt ans, il avait été le moyen le plus rapide de répondre à une question simple : ce site est-il très visité ?
Alexa Internet était née en 1996, et Amazon l'avait rachetée en 1999 pour environ 250 millions de dollars en actions. Son « rank » était partout : dans les présentations aux investisseurs, dans les devis des agences SEO, dans les kits média des blogs. Les chercheurs en sécurité l'utilisaient aussi, en prenant son « Top 1 million » comme une liste de sites probablement inoffensifs.
Dès décembre 2021, Alexa avait cessé de vendre de nouveaux abonnements, et Amazon n'a jamais expliqué publiquement pourquoi elle avait fermé le service. Le résultat a été un vide. Ceux qui comptaient sur ce chiffre se sont retrouvés sans indicateur public et gratuit de la popularité des sites.
Ce vide a été comblé, au moins en partie, par un projet beaucoup moins connu : Tranco.
Un chiffre moins solide qu'il n'y paraissait
Tranco n'est pas né pour remplacer Alexa, mais pour en corriger les défauts. En 2019, trois ans avant la fermeture, un groupe de chercheurs dirigé par Victor Le Pochat (imec-DistriNet, KU Leuven, avec des collègues de TU Delft et de l'Université Grenoble Alpes) a présenté une étude à la conférence NDSS de San Diego.
Ils avaient passé au crible les quatre classements les plus utilisés : Alexa, Cisco Umbrella, Majestic et Quantcast. Les conclusions étaient dérangeantes :
Les classements ne concordaient pas. Sur la popularité de presque chaque domaine, ils donnaient des réponses différentes.
Ils changeaient trop. Umbrella et surtout Alexa rebattaient de nombreuses positions d'un jour à l'autre. Dans le cas d'Alexa, la cause était une modification non annoncée de la façon dont il calculait ses moyennes.
On pouvait les truquer. Les chercheurs ont montré qu'il suffisait de très peu pour faire bouger un domaine : pour entrer dans le Top 1 million d'Alexa, une seule requête HTTP suffisait.
Ce dernier point était le plus grave. N'importe qui pouvait glisser des domaines malveillants dans des listes utilisées comme « listes de sites sûrs », ou influencer les résultats des études scientifiques qui s'appuyaient sur ces classements.
Comment ça marche : plusieurs sources, un mois de données
L'idée de Tranco est simple : au lieu de se fier à un seul classement, il en réunit plusieurs et observe une longue période. Les sources sont aujourd'hui au nombre de cinq, chacune avec son propre regard sur le web :
Cisco Umbrella observe les requêtes DNS qui passent par ses résolveurs, tandis que Majestic examine les liens entre sites, c'est-à-dire combien d'autres domaines pointent vers un domaine. Farsight apporte des données DNS passives collectées à grande échelle.
Cloudflare Radar fournit le trafic DNS du résolveur public 1.1.1.1, et le Chrome UX Report ajoute les données réelles des utilisateurs de Chrome.
Alexa et Quantcast, présents au départ, sont sortis du panier quand leurs services ont fermé.
La liste par défaut combine les positions des 30 derniers jours. Pour cela, elle utilise la règle de Dowdall : le premier site de chaque classement reçoit 1 point, le deuxième 1/2, le troisième 1/3, et ainsi de suite. C'est une façon de refléter la « longue traîne » du web : très peu de sites énormes en haut et une infinité de petits sites en dessous. Seuls les domaines principaux sont conservés (par exemple exemple.fr, pas shop.exemple.fr), et le résultat final est le premier million.
L'avantage est concret. Selon l'étude originale, la liste Tranco ne change que de 0,6 % par jour, et pour faire monter un domaine à la même position, il faut au moins quatre fois plus d'efforts qu'avec les classements précédents. Un site qui paraît populaire pour une seule source, peut-être à cause d'une manipulation isolée, pèse peu dans la moyenne.
Il y a aussi un détail pensé pour les chercheurs : chaque liste générée a un identifiant stable. Qui publie une étude peut indiquer exactement quelle version il a utilisée, et n'importe qui peut la retrouver et refaire l'analyse. Le code qui produit la liste est lui aussi public sur GitHub.
À quoi ça sert et comment le consulter
Tranco est gratuit et se consulte sur tranco-list.eu. Il y a trois façons de l'utiliser :
Télécharger la liste complète est la première : un fichier CSV avec le million de domaines dans l'ordre, mis à jour chaque jour.
Chercher un domaine précis sur le site est la deuxième, utile pour voir sa position et son évolution au cours des dernières semaines.
L'interroger depuis un programme est la troisième, grâce à une API publique qui ne demande pas d'inscription pour un usage léger.
La règle à retenir est celle du golf : plus le chiffre est bas, mieux c'est. Le site en première position est le plus répandu au monde, et un domaine dont le chiffre baisse gagne en popularité.
Né pour la recherche universitaire et la cybersécurité, Tranco est aujourd'hui utilisé dans de nombreux contextes :
Dans la recherche scientifique, il sert à choisir un échantillon représentatif de sites à analyser. En cybersécurité, il fait office de liste de domaines très répandus, à comparer avec les domaines suspects.
Le même principe, construire un large échantillon et répéter la mesure dans le temps, vaut aussi en dehors du monde universitaire : c'est ce qu'il faut, par exemple, pour mesurer chaque jour comment répondent les moteurs de recherche internes des sites e-commerce italiens.
En marketing et en SEO, il permet de comparer dans les grandes lignes la popularité d'un site avec celle de ses concurrents et d'en suivre l'évolution dans le temps. Enfin, dans les ventes et les études de marché, il aide à distinguer d'un coup d'œil un site amateur d'un site parmi les dix mille premiers au monde.
Ce que Tranco n'est pas
Tranco ne compte pas les visiteurs. Il mesure à quel point un domaine est répandu dans les différents signaux qu'il collecte : requêtes DNS, liens, navigation sur Chrome. Il vous dit qu'un site est « plus populaire qu' » un autre, pas combien de visites il fait par mois.
Et surtout, il ne dit rien de ce qui se passe une fois le visiteur arrivé. Un site e-commerce peut être très populaire et avoir un moteur de recherche interne qui ne trouve pas les produits : avec l'arrivée des agents IA qui cherchent et achètent à la place du client, c'est une limite qui pèse de plus en plus.
Il y a d'autres limites à garder en tête :
Il s'arrête au premier million. Un petit site, par exemple un e-commerce local, n'y figure très probablement pas. Pour qui travaille avec le commerce en ligne italien, il faut donc des outils qui regardent de plus près : un classement construit uniquement sur les boutiques italiennes en dit bien plus qu'une position dans le million mondial.
C'est un indicateur mondial. Un site très suivi en Italie mais peu ailleurs peut avoir une position modeste.
Tout le monde n'est pas convaincu par la méthode. L'entreprise de sécurité Infoblox, par exemple, a soutenu que les différents classements reflètent des réseaux trop différents entre eux, et que les réunir ne les rend pas plus fiables. Selon son analyse de 2022, plusieurs domaines malveillants figuraient aussi dans le million de Tranco.
Pour obtenir de véritables estimations de visites, il faut se tourner vers des services commerciaux comme Similarweb ou Semrush, qui coûtent de quelques centaines à plus de mille dollars par mois et restent de toute façon des estimations.
Un petit bien commun du web
Alexa était un produit commercial, et quand il a cessé d'être rentable, il a disparu. Tranco, c'est autre chose : un projet universitaire, gratuit, avec une méthode publiée et un code ouvert que chacun peut vérifier.
Il n'est pas parfait, et il ne prétend pas l'être. Mais il répond à une question qui compte encore sur le web : quels sont les sites qui comptent vraiment ? Et il le fait de manière transparente, chose rare parmi les outils de mesure d'internet. En 2022, le jeu de données a même reçu un prix de ressource à impact lors de la conférence ACSAC.
La prochaine fois que vous vous demanderez à quel point un site est populaire, un détour par tranco-list.eu vaut le coup.