Yahoo! a publié aujourd'hui sur son blog l'annonce qu'il prenait en compte de nouveaux tags dans le cadre du référencement des sites web dans le "header HTTP" avec les valeurs suivantes : NOINDEX (pas d'indexation), NOARCHIVE (pas d'archivage en cache), NOSNIPPET (pas d'affichage de résumé), NOFOLLOW (pas de suivi des liens).
Ainsi, un "header HTTP classique" pour un site web (ici le site abondance.com) - il existe de nombreux outils sur le Web, comme Web-sniffer, qui vous permettent de le visualiser - ressemblera à cela :
HTTP/1.1 200 OK
Date: Thu, 06 Dec 2007 13:19:44 GMT
Server: Apache/1.3.33 (Debian GNU/Linux) PHP/5.2.0-0.dotdeb.1 with Suhosin-Patch mod_perl/1.29
Last-Modified: Thu, 06 Dec 2007 12:05:27 GMT
ETag: "1b02e1-e28e-4757e587"
Accept-Ranges: bytes
Content-Length: 57998
Connection: close
Content-Type: text/html; charset=iso-8859-1
Vous pouvez donc maintenant ajouter des directives pour les moteurs dans les "headers HTTP" de votre serveur, sous l'indication "X-Robots-Tag" avec les données fournies par Yahoo! : Noindex, Noarchive, etc. Exemple :
X-Robots-Tag: noindex
X-Robots-Tag: noarchive, nosnippet
L'avantage de ces indications est la possibilité de "tagger" des documents Words, PDF, vidéo ou autres qui n'acceptent pas les balises meta "classiques" ou qu'il est difficile de traiter au travers de fichiers robots.txt.
Google a également communiqué à ce sujet cet été. A noter que ce moteur suit les mêmes indications que Yahoo! et rajoute même la possibilité "unavailble after" pour indiquer qu'une page ne sera plus disponible ou pertinente après une certaine date...
Articles complémentaires :
Boostez vos ventes de fin d’année : Google dévoile ses nouveaux outils pour les e-commerçants
2 nouveaux robots Google pour optimiser le crawl des images et des vidéos
Les nouveaux projets Google : nouveau moteur de recherche, Magi, GIFI, Searchalong…
Suppression d’images sur Google : les astuces infaillibles pour protéger votre contenu
Search Quality Raters : Nouvelles directives pour démasquer les sites douteux !
