Le fichier robots.txt, situé à la racine d'un site web, sert à indiquer au moteur de recherche les zones du site qu'il ne doit pas explorer et analyser. Quelle est sa syntaxe ? Quelles sont les différentes directives possibles que l'on peut y insérer ? Quelle différences entre crawl et indexation ? Réponses en images...
La plupart des sites web disposent d'un fichier robots.txt, petit fichier au format texte qui liste une série de directives destinées (comme son nom l'indique) aux robots des moteurs de recherche afin de leur indiquer les zones du site où ils ne doivent pas aller. Certaines de ces directives sont standards et prises en compte par tous les robots, d'autres non. Comment faire le tri ? D'autre part, il est important de savoir que le fichier robots.txt n'empêche pas l'indexation de l'URL par Google et consorts. Bref, voici une petite vidéo qui a pour ambition de vous donner de nombreuses informations au sujet de ce petit fichier très important pour votre SEO...
Fichier robots.txt et SEO, vidéo proposée par Olivier Andrieu (Abondance). Source de l'image : Abondance |
Voici également quelques articles complémentaires (listés par ordre chronologique) pour approfondir le sujet :
- Google teste la directive "Noindex" dans les fichiers robots.txt (26 novembre 2007).
- Google propose un générateur de fichier robots.txt (28 mars 2008).
- Microsoft, Yahoo! et Google s'entendent sur un standard de fichier robots.txt (4 juin 2008).
- Le fichier robots.txt OK, mais connaissez-vous Humans.txt ? (9 juillet 2012).
- Google signale lorsqu'une description est bloquée par un fichier robots.txt (20 août 2012).
- Au sujet de Google et des robots.txt... (5 septembre 2012).
- Robots.txt, crawl et indexation (1ère partie) (15 novembre 2012).
- Robots.txt, crawl et indexation (2ème partie) (17 décembre 2012).
- Google ne crawle pas votre site si votre fichier robots.txt n'est pas disponible (6 janvier 2014).
- Google améliore son outil de test des robots.txt (17 juillet 2014).
- Google déconseille les robots.txt dynamiques (30 octobre 2015).
- Google a modifié son mode de lecture des fichiers robots.txt (25 février 2016).
N'hésitez pas également à visiter la zone "Vidéos SEO" du site et à vous abonner à la chaîne YouTube du site Abondance (ou à son fil RSS) pour découvrir, semaine après semaine, les prochaines vidéos que nous vous proposerons.
Articles complémentaires :
Goossips SEO : fichier robots.txt
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Google va explorer des alternatives au fichier robots.txt
Google Search Console dévoile son nouveau rapport robots.txt
Goossips SEO : URL canonique, robots.txt, X-RateLimit
Ce fichier robots.txt fait partie du B.A-ba et pourtant il est encore si souvent mal utilisé ! Et pas un mot concernant le fichier humans.txt ? (humour…)
J’y ai pensé après avoir enregistré la vidéo 🙁
Mais j’ai mis un lien dans l’article quand même 🙂
Merci pour cette vidéo.
Par sécurité j’ajouterai qu’il est utile que SEUL les robots (et encore pas tous) est accès à ce fichier et non petits curieux pas toujours bien attentionné.
https://www.aesecure.com/fr/blog/99-robots-txt-curieux.html