google webmaster tools

Les Google Webmaster Tools proposent depuis aujourd'hui une nouvelle version, plus interactive et complète, de leur outil de test du fichier robots.txt de votre site...

Google a annoncé sur son blog pour webmasters une nouvelle version de son outil de test du fichier robots.txt, présent dans ses Webmaster Tools.

Par défaut, l'interface affiche le contenu du fichier ainsi que sa taille, le code http retourné (200 normalement, signifiant que tout va bien) et la date et l'heure de dernière lecture par le robot. Le nombre d'erreurs et d'avertissements potentiels sont également indiqués. Vous avez alors la possibilité de saisir une URL de votre site et l'outil vous affichera instantanément si elle est bloquée (et dans ce cas, quelle directive du fichier est concernée) ou non.

Point important également rappelé sur le blog de Google : "De plus, vous pouvez examiner les anciennes versions de votre fichier robots.txt et déterminer à quel moment des problèmes d'accès ont empêché l'exploration. Par exemple, si Googlebot détecte une erreur de serveur 500 sur le fichier robots.txt, nous suspendons généralement l'exploration du site Web.".

gwt-test-robots-txt

Source de l'image : Abondance
gwt-test-robots-txt

Source de l'image : Abondance