Googlebot, le spider de Google qui explore les pages pour le moteur de recherche, va également gérer l'exploration des sites d'actualités...
Google vient de publier sur son blog pour webmasters une info selon laquelle le spider qui viendra explorer vos pages pour Google News ne s'appelera plus Googlebot-News, comme depuis décembre 2009, mais Googlebot, comme le spider web. On revient donc en arrière, à la situation de 2009, sur ce point...
Cependant, les indications concernant Googlebot-News dans le fichier robots.txt resteront valables pour les sites qui désirent voir leurs pages indexées dans le moteur web mais pas dans le moteur d'actualités de Google.
On peut regrette la disparition de Googlebot-News dans les logs du serveur car cela fait perdre une information intéressante pour dissocier les deux spiders lors de l'analyse de la venue de ces robots. Pour le reste, l'impact devrait être nul...
 Source de l'image : Abondance |
Articles connexes sur ce site :
- Nouvelle fonction d'indexation rapide de pages pour Google (4 août 2011)
- Google fait un pas vers les éditeurs et annonce un spider spécifique pour Google News (3 décembre 2009)
- Deux nouveautés dans les Google Webmaster Tools (13 otobre 2009)
- 2 nouvelles fonctionnalités dans les Webmaster Tools : Sidewicki et Googlebot mobile (9 mars 2010)
Articles complémentaires :
Les nouveautés de Google pour les sites d’actualité
Google met en garde contre l’utilisation des codes 403 ou 404 pour limiter la vitesse d’exploration de Googlebot
C'est pourtant simple, non ? 1 User Agent en moins = 1 risque de cloacking éliminé !
Conséquence collatérale à la confusion apportée par ce genre de "changement" un peu nébuleux : Google espère peut-être également récupérer une partie des contenus qui étaient interdits à Google News, comme les répertoires d'archives, de commentaires ou d'articles intemporels, si les webmasters ne mentionnent plus le user-agent idoine…
Google est obligé de brouiller un peu les cartes, a la longue, on peu finir par le cerner. et le jeu, c'est de rester secret. Je pense que c'est peut-être la raison?
La nouvelle stratégie Google est un peut déroutante, on verra à l'usage.
Sympa l'illustration ! (c'est tout à fait çà !)