Alors que le testeur de fichier robots.txt a disparu de la Search Console de Google (tout en restant disponible par ailleurs), Bing a fait renaître un outil similaire qui avait disparu de ses Webmaster Tools et qui vient de réintégrer le giron des outils du moteur de recherche de Microsoft...
On se souvient que dans l'ancienne version de la Search Console de Google était proposé un validateur de fichier robots.txt très intéressant et performant, car il permettait de tester en direct plusieurs directives directement au sein de l'outil. D'une façon générale, ce testeur est plus ou moins passé à la trappe dans la nouvelle mouture de la Search Console (mais il reste disponible à cette adresse, qui n'est plus reliée à la nouvelle Search Console).
Bing, toujours à l'affut pour améliorer ses Webmaster Tools, notamment depuis la dernière version de l'outil en début d'année, s'est donc empressé (avec raison) de proposer à son tour un testeur de fichier robots.txt (qui existait d'ailleurs il y a un certain temps de cela, mais il avait disparu entre temps avant de revenir donc ces jours-ci et renaître de ses cendres).
L'interface est sobre et efficace : le contenu du fichier robots.txt du site est affiché par défaut et vous pouvez taper une URL pour savoir le crawl est autorisé ou interdit sur cette page. Si il y a interdiction, la directive correspondante dans le fichier est signalée. Vous pouvez modifier le fichier robots.txt (de façon artificielle bien sûr, il faudra ensuite transférer cette version sur le site) pour tester telle ou telle directive. Une aide en ligne est également proposée.
Bref, un outil grosso modo identique à celui de Google et qui vous permettra de tester vos fichier robots.txt très facilement. Bien joué Bing !
Testeur de fichier robots.txt dans les Bing Webmaster Tools. Source : Abondance