Sur le site Abondance, nous essayons, dans la mesure du possible, de vous expliquer comment faire en sorte que vos pages soient indexées au mieux par les robots (spiders) des moteurs de recherche. Mais il peut également arriver que certaines de vos pages soient confidentielles, ou en tout cas que votre objectif ne soit pas de les diffuser largement sur lesdits moteurs. Un site ou une page en construction, par exemple, ne doivent pas obligatoirement être la cible d'une telle aspiration. Il faut alors empêcher certains spiders de les prendre en compte. Cela se fait au moyen d'un fichier texte, appelé robots.txt, présent sur votre serveur. Ce fichier va donner des indications au spider du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Si ce fichier existe, il le lit et suit les indications qui y sont inscrites. S'il ne le trouve pas, il commence son travail de lecture et de sauvegarde de la page HTML qu'il est venu visiter, considérant qu'a priori rien ne lui est interdit.
Articles complémentaires :
Google va explorer des alternatives au fichier robots.txt
Goossips SEO : fichier robots.txt
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Goossips SEO : URL canonique, robots.txt, X-RateLimit
Google Search Console dévoile son nouveau rapport robots.txt
