Google avait annoncé il y a quinze jours vouloir standardiser le contenu du robots.txt et que, désormais, il ne prendrait plus en considération la directive Noindex: dans ce fichier. Mais qu'en est-il de Bing ? Travaille-t-il aussi dans le même sens ? Nous avons posé la question aux responsables du moteur de Microsoft...
Début juillet, on apprenait que Google voulait standardiser le robots.txt et abandonnait officiellement la directive Noindex: dans ce fichier. Une décision qui avait bizarrement surpris un certain nombre de personnes, alors qu'il fallait (hélas) s'y attendre tôt ou tard. D'autre part, nous avons rappelé la semaine dernière que de nombreuses alternatives existent pour pallier la directive Noindex: dans le robots.txt.
Cependant, dans cette "affaire", on a beaucoup entendu parler de Google et très peu de Bing. Or, le moteur de recherche de Microsoft est clairement l'alternative évidente au moteur leader un peu partout dans le monde. Alors, comment Bing voit-il les choses au sujet de ce fichier robots.txt ? Pour le savoir, nous avons contacté Fabrice Canel et Frédéric Dubut, deux des "têtes pensantes" du moteur, afin de leur poser la question.
Et voici leurs réponses :
- Bing et Microsoft collaborent bien actuellement avec Google pour standardiser le contenu du fichier robots.txt ;
- Bing n'a jamais supporté la directive Noindex: dans le fichier robots.txt (mais il supporte bien entendu la balise meta robots ou la directive X-Robots-Tag "noindex") ;
- Bing n'a jamais supporté la directive Nofollow: dans le fichier robots.txt (mais il supporte bien entendu la balise meta robots ou la directive X-Robots-Tag "nofollow") ;
- Bing prend en revanche en compte la directive Crawl-delay: que Google ignore.
Des indications que l'on peut donc résumer dans ce tableau :
 |  |
|
|---|---|---|
| Directive Noindex: dans le robots.txt |  | |
| Directive Nofollow: dans le robots.txt | | |
| Directive Crawl-delay: dans le robots.txt | |  |
| Balise meta robots "noindex" | | |
| Balise meta robots "nofollow" | | |
| Indication "noindex" dans le X-Robots-Tag | | |
| Indication "nofollow" dans le X-Robots-Tag | | |
Tableau indicatif de la prise en compte des directives de désindexation par Google et Bing. Source : Abondance
Frédéric Dubut ajoute à ce sujet : "je ne peux qu'encourager tout effort de standardiser un élément aussi vital et complexe que le fichier robots.txt, sur lequel on voit tellement d'erreurs au quotidien". Et Fabrice Canel d'ajouter : "Nous n'avons pas de plan défini pour avancer à très court terme sur le standard. Pour l'instant, nous écoutons les feedbacks qui nous sont adressés avant de définir un plan d'action."
Pas d'urgence donc à ce niveau, mais un travail au long cours qui est effectué en concertation entre les deux plus gros moteurs de la planète Web.
Articles complémentaires :
Google Search Console dévoile son nouveau rapport robots.txt
Google va explorer des alternatives au fichier robots.txt
Google-Safety : le crawler qui ignore les Robots.txt
