Un internaute vient de découvrir que Google prenait en compte une directive nommée "noindex" lorsqu'elle était insérée dans le fichier "robots.txt" d'un site, comme par exemple :
User-agent:Googlebot
Disallow:/perso/
Disallow:/entravaux/
Noindex:/clients/
Alors que la directive "Disallow" indique aux robots de ne pas tenir compte du contenu d'un répertoire (pas d'indexation, pas de suivi des liens), "Noindex" se réduirait à la non-indexation des pages, mais en identifiant les liens qu'elles contiennent. Un équivalent de la balise meta "Robots" qui contiendrait les informations "Noindex, Follow" en quelque sorte. Google aurait indiqué que cette mention serait en test actuellement, qu'elle n'est supportée que par le seul Google mais que rien ne dit qu'elle sera adoptée in fine. A utiliser avec précaution donc...
http://www.google.fr/support/webmasters/bin/topic.py?topic=8843
Source : Sebastian’s Pamphlets
Articles connexes sur ce site :
- Fichiers robots.txt : avantage Google (16 novembre 2007)
- Le fichier Robots.txt (mai 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Exalead se rallie au standard Sitemap (20 juin 2007)
- Comment dé-référencer un site web ? (mars 2005)
Toutes les pages du réseau Abondance pour la requête robots.txt...
Pour infos, en 2012, cette directive Noindex fonctionne toujours et est détectée par Google Webmaster Tools, cf. http://robots-txt.com/ressources/robots-txt-noindex/
Mais toujours pas d’annonce officielle de la part de Google