Les Google Webmaster Tools proposent depuis aujourd'hui une nouvelle version, plus interactive et complète, de leur outil de test du fichier robots.txt de votre site...
Google a annoncé sur son blog pour webmasters une nouvelle version de son outil de test du fichier robots.txt, présent dans ses Webmaster Tools.
Par défaut, l'interface affiche le contenu du fichier ainsi que sa taille, le code http retourné (200 normalement, signifiant que tout va bien) et la date et l'heure de dernière lecture par le robot. Le nombre d'erreurs et d'avertissements potentiels sont également indiqués. Vous avez alors la possibilité de saisir une URL de votre site et l'outil vous affichera instantanément si elle est bloquée (et dans ce cas, quelle directive du fichier est concernée) ou non.
Point important également rappelé sur le blog de Google : "De plus, vous pouvez examiner les anciennes versions de votre fichier robots.txt et déterminer à quel moment des problèmes d'accès ont empêché l'exploration. Par exemple, si Googlebot détecte une erreur de serveur 500 sur le fichier robots.txt, nous suspendons généralement l'exploration du site Web.".
 Source de l'image : Abondance |
 Source de l'image : Abondance |
Articles complémentaires :
Google Search Console dévoile son nouveau rapport robots.txt
Google va explorer des alternatives au fichier robots.txt
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Goossips SEO : fichier robots.txt
Google-Safety : le crawler qui ignore les Robots.txt
L’affichage des erreurs est vraiment très pratique quand on a pas l’habitude de manipuler des fichiers robots.txt.
Petite fonctionnalité sympa mais dédié encore une fois de plus au débutant
Super outil, encore plus fonctionnel que la version précédente !