Quelques infos sur Google (et Bing parfois) et son moteur de recherche, glanées ici et là de façon officieuse ces derniers jours, avec au programme cette semaine quelques réponses à ces angoissantes questions : quels champs du fichier robots.txt que Google prend-il en charge ?
Google prend en compte 4 champs du fichier robots.txt
Google a mis à jour sa politique concernant le fichier robots.txt, précisant qu'il ne prend en charge que quatre champs : « user-agent », « allow », « disallow » et « sitemap ». Pour le dire autrement, les directives non supportées sont ainsi ignorées par les crawlers de Google. Cette clarification vise à encourager les propriétaires de sites web à éviter d'utiliser des directives non supportées.
Source : Search Engine Journal
Taux de fiabilité : ⭐⭐⭐ On est d'accord !
C’est le moment d’aller jeter un œil à vos fichiers robots.txt ! Un petit rappel utile toutefois : ce n’est pas parce que Google ne prend pas en compte certaines directives du fichier que c’est aussi le cas des autres moteurs. Par exemple, Bing prend en charge la directive crawl-delay. En fonction de vos objectifs, il peut donc être judicieux de l'inclure.
Articles complémentaires :
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Goossips SEO : URL canonique, robots.txt, X-RateLimit
Google va explorer des alternatives au fichier robots.txt
