Très intéressant article sur le site Searchnewz, écrit par Aaron Wall, qui explique que, selon lui, Yahoo! aurait plus de mal que Google et Live Search à indexer de nouveaux sites web, graphiques d'exploration des robots à l'appui :
Aaron reproche en fait à Yahoo! d'être très peu régulier dans ses visites de sites. Parfois, il vient "en masse" puis disparait pendant un long laps de temps, alors que les visites des robots de Google et de Microsoft seraient beaucoup plus régulières. Avez-vous observé le même phénomène sur vos sites web ?
Bonjour
Depuis quelques jours, Yahoo vient avec toute une armée de bots. C’est peut-être dû à mon nouveau template. Ce soir pas moins de 105 bots en une seule fois.
exact Yahoo peut presque faire 100 visites par jour et puis le lendemain plus rien
sur wordpress vous pouvez voir défiler les différents robots grace à statpress par exemple
Perso je sais que Google vient plusieurs fois par jour sur mon site (je ne saurais pas dire combien de fois par jour), mais c’est bien plus que Yahoo qui vient environ 2 fois par jour et MSN… au mieux une fois par jour. Et étrangement pour MSN j’ai quasiment aucun visiteur venant de ce moteur, pour dire janvier et début février 2008 c’était 0 visite.
Bonjour, c’est vrai que Yahoo! parcours le web à intervalle irrégulier mais malgrès cela (si on en crois le graphique) il a le robot qui parcours le plus de pages. Les robots de google et msn sont loin derrière. Alors dire qu’il a du mal à indexer??!!Je pense que c’est un peu exagéré.
D’un autre côté, est-ce que le passage des moteurs est justifié ? Est-ce que le contenu change suffisamment régulièrement pour que les robots viennent mettre à jour leurs bases ?
Ou est-ce que ces contenus sont, dès leurs publications, des contenus de référence ?
En fonction de ces réponses, les outils de recherche vont avoir des stratégies différentes. Non ?
Ce qui compte n’est pas la quantité des crawls mais bel est bien la fraîcheur de l’information délivrée aux internautes.
Note : Google n’a pas forcément ce problème ayant un nombre suffisant de crawlers pour pouvoir analyser le web en permanence.