Un internaute vient de découvrir que Google prenait en compte une directive nommée "noindex" lorsqu'elle était insérée dans le fichier "robots.txt" d'un site, comme par exemple :

User-agent:Googlebot
Disallow:/perso/
Disallow:/entravaux/
Noindex:/clients/

Alors que la directive "Disallow" indique aux robots de ne pas tenir compte du contenu d'un répertoire (pas d'indexation, pas de suivi des liens), "Noindex" se réduirait à la non-indexation des pages, mais en identifiant les liens qu'elles contiennent. Un équivalent de la balise meta "Robots" qui contiendrait les informations "Noindex, Follow" en quelque sorte. Google aurait indiqué que cette mention serait en test actuellement, qu'elle n'est supportée que par le seul Google mais que rien ne dit qu'elle sera adoptée in fine. A utiliser avec précaution donc...


Source de l'image : Sebastian’s Pamphlets

http://www.google.fr/support/webmasters/bin/topic.py?topic=8843

Source : Sebastian’s Pamphlets

Articles connexes sur ce site :

- Fichiers robots.txt : avantage Google (16 novembre 2007)
- Le fichier Robots.txt (mai 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Exalead se rallie au standard Sitemap (20 juin 2007)
- Comment dé-référencer un site web ? (mars 2005)

Toutes les pages du réseau Abondance pour la requête robots.txt...

Partagez l'article
Publier un commentaire

Articles complémentaires :

Google Search Console dévoile son nouveau rapport robots.txt

Par Mathilde Grattepanche
17 Nov 2023 ·
2 minutes de lecture

Google-Safety : le crawler qui ignore les Robots.txt

Par Mathilde Grattepanche
15 Nov 2023 ·
2 minutes de lecture

Google va explorer des alternatives au fichier robots.txt

Par Mathilde Grattepanche
07 Juil 2023 ·
3 minutes de lecture
Goossips-15-oct-2024

Goossips SEO : fichier robots.txt

Par Johan Sellitto
15 Oct 2024 ·
3 minutes de lecture

Fichier robots.txt : plus besoin de le placer sur le domaine racine !

Par Mathilde Grattepanche
04 Juil 2024 ·
4 minutes de lecture