Les "Webmasters Tools" de Google proposent depuis cette semaine un nouvel outil avec un générateur de fichier "robots.txt" : vous spécifiez ce qu'il doit contenir (permettre l'accès ou bloquer les robots, quelles actions vous voulez que chaque robot désiré ait sur votre site, etc.) et l'outil génère à la volée le fichier robots.txt idoine que vous n'avez plus qu'à copier/coller et à transférer sur votre site. Très utile (même si ce n'est pas le premier outil de ce type qui existe sur le Web).
A noter que Google proposait déjà un outil d'analyse de fichier robots.txt déjà en ligne. Le nouveau générateur complète donc la panoplie que le moteur de recherche propose aux webmasters...
 Source : Abondance |
http://www.google.com/webmasters/tools/
Source :
Speaking the language of robots (Google)
Articles connexes sur ce site :
- Le fichier Robots.txt
- Fichiers robots.txt : avantage Google (16 novembre 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Google teste la directive "Noindex" dans les fichiers robots.txt (26 novembre 2007)
- Les 4 moteurs majeurs s'entendent sur une nouvelle fonction du standard Sitemaps (13 avril 2007)
Toutes les pages du réseau Abondance pour la requête robots.txt...
Articles complémentaires :
Google va explorer des alternatives au fichier robots.txt
Google Search Console dévoile son nouveau rapport robots.txt
Google-Safety : le crawler qui ignore les Robots.txt
Bonjour ; manque fichier robot.txt pour internet explorer. merci
je sais pas comment generer un fichier robots.txt
merci de bien expliquer