Et en plus, il nous demande notre avis ! Google lance une consultation publique pour discuter de l’avenir du fichier robots.txt, du fait de l’émergence de nouvelles technologies et de l’IA générative.
Ce qu’il faut retenir :
- Google souhaite utiliser l’IA pour remplacer le fichier robots.txt ;
- La firme lance une discussion publique avec les membres des communautés web et IA afin de trouver une alternative.
Une alternative au robots.txt
30 ans : cela fait déjà 30 ans que le protocole robots.txt existe ! Dans un communiqué posté sur le blog Google, Danielle Romain aborde son avenir, au regard des évolutions permises par les nouvelles technologies et par l’IA. Elle écrit ceci :
“Nous reconnaissons que les contrôles existants pour les éditeurs web ont été développés avant les nouveaux cas d'utilisation de l'IA et de la recherche. À mesure que de nouvelles technologies émergent, elles présentent des opportunités pour la communauté web de faire évoluer les normes et les protocoles qui soutiennent le développement futur du web. L'une de ces normes web développées par la communauté, robots.txt, a été créée il y a près de 30 ans et s'est avérée être un moyen simple et transparent pour les éditeurs web de contrôler la façon dont les moteurs de recherche explorent leur contenu. Nous pensons qu'il est temps pour les communautés du web et de l'IA d'explorer d'autres moyens lisibles par machine pour le choix et le contrôle des éditeurs Web pour les cas d'utilisation émergents de l'IA et de la recherche.”
La consultation publique
Cette décision ne doit pas être unilatérale, Google en a bien conscience. C’est pourquoi Danielle Romain annonce qu’une consultation publique est lancée pour récolter l’avis des membres des communautés web et IA, pour réfléchir à un nouveau protocole qui remplacerait robots.txt. Leur but : avoir un maximum de retours, de personnes de domaines variés.
“Aujourd'hui, nous lançons une discussion publique, invitant les membres des communautés du Web et de l'IA à peser sur les approches des protocoles complémentaires. Nous aimerions qu'un large éventail de voix provenant d'éditeurs Web, de la société civile, d'universités et d'autres domaines du monde entier se joignent à la discussion, et nous convoquerons ceux qui souhaitent participer au cours des prochains mois.”
Comment participer à la discussion ?
C’est simple : il vous suffit de remplir un formulaire sur le site de Google, en renseignant votre nom, votre adresse e-mail, votre activité et votre pays. On peut imaginer qu’une sélection aura lieu afin de représenter un maximum de pays et d’activités.
Plus d’informations seront envoyées prochainement aux personnes qui souhaitent participer à cette consultation.
De notre côté, nous nous sommes inscrits pour pouvoir vous tenir au courant des avancées de la consultation publique et du futur remplacement de robots.txt.
Articles complémentaires :
Google Search Console dévoile son nouveau rapport robots.txt
Google-Safety : le crawler qui ignore les Robots.txt
2 nouveaux robots Google pour optimiser le crawl des images et des vidéos
Bonjour,
A ce stade, difficile d’imaginer que seule l’AI puisse justifier un tel changement.