Alors que Google galère depuis plusieurs années et a du mal à corriger ses bugs de crawl et d'indexation tout en désactivant son outil de soumission rapide dans la Search Console, Bing progresse sans bruit et devient petit à petit un acteur majeur du domaine, loin de ses errements passés. Les deux robots se rejoignent donc petit à petit en termes de qualité. Qui en sortira gagnant ? Les deux, peut-être...
L'une des bases du fonctionnement des moteurs de recherche est le crawl par les robots (Googlebot, Bingbot) des pages du web, que ce soit la prise en compte de nouvelles pages ou celles mises à jour récemment. La qualité du crawl par les moteurs induira automatiquement la qualité de l'index et donc, en conjonction avec l'algorithme, la qualité des résultats.
Il existe aujourd'hui dans le monde (en dehors des moteurs limités à une stricte zone géographique comme Yandex, Baidu, Seznam ou Naver) deux technologies de moteur de recherche : Google et Bing. Et en ce qui concerne le crawl, on remarque à l'heure actuelle une réelle inversion des courbes quant à la qualité du travail effectué par leur spider respectif.
Bingbot en forte amélioration
Il faut le dire, Bingbot a été longtemps connu malheureusement pour sa paresse. Indexer une page dans Bing était comparable, il y a quelques années de cela, à un parcours du combattant et le moteur avait parfois plusieurs jours - semaines - mois (rayer la mention inutile) de retard par rapport à la vision qu'on pouvait avoir du Web à un instant T. Or, il faut bien constater que la situation a grandement changé depuis quelques temps et que les équipes qui gèrent le crawl chez Microsoft (avec à leur tête le frenchy Fabrice Canel) ont abattu un travail important, rendant le crawl désormais bien plus efficace. La situation est donc en progression constante à ce niveau sur Bing. Pas parfait encore, peut-être, mais clairement en amélioration évidente.
Googlebot en panique
Google, de son côté, multiplie les bugs d'indexation depuis 2 ans et semble souffrir énormément au niveau du crawl, un domaine où il était pourtant encore surpuissant il y a quelques années. Googlebot était auparavant une machine à crawler et à indexer (à cette époque, on avait plus des soucis de désindexation de contenus que le moteur était allé chercher on ne savait où et comment), alors que désormais, il a toutes les peines du monde à tenir la distance.
Dernière mésaventure à ce niveau : en en fin d'année dernière, l'outil de soumission d'URL dans la Search Console a été désactivé pendant de longues semaines, puis réactivé, mais il semble depuis être quasiment sans effet, et en tout cas beaucoup moins efficace qu'avant. Bien sûr, celui-ci faisait certainement l'objet de spam massif de la part de certains SEO et c'est certainement l'une des principales raisons de son arrêt/désactivation plus ou moins partielle. Mais quand même, entre cette volonté de désactiver l'outil de la Search Console et les bugs d'indexation à répétition, beaucoup de référenceurs et d'éditeurs de sites web ont remarqué que la qualité du crawl de Googlebot avait beaucoup baissé ces derniers temps.
Si on rajoute à ça la lenteur de désindexation d'URL qui serait passées en 404 ou redirigées en 301, mises en "noindex", etc. que l'on trouve encore dans les résultats de recherche ou dans la Search Console (rapport "Couverture") des jours - semaines - mois (rayer la mention inutile) après leur traitement, l'addition commence à se faire quelque peu salée pour nos amis de Mountain View.
Tout se passe en fait comme si Google n'arrivait pas à tenir la cadence par rapport à l'accélération incroyable du Web, au rythme de création de nouvelles pages, de modification de pages existantes et de disparition de contenu. Bref, Googlebot semble dépassé, en surchauffe par rapport à l'évolution d'Internet. Et cela pose beaucoup de problèmes à de nombreux webmasters, notamment ceux pour qui le temps réel est important, voire capital, comme les sites de presse par exemple.
De multiples causes expliquent le phénomène
Bien sûr, rien n'est simple et oui, la croissance exponentielle du Web, la complexité technique de certains sites, le spam incessant (rappelons que Google découvre chaque jour 25 millliards de pages de spam visant à manipuler les algorithmes !!!) et bien d'autres facteurs expliquent ces difficultés, qu'il faudra pourtant bien régler un jour si Google veut garder sa suprématie sur le monde des moteurs de recherche.
Il semblerait en tout cas que le paysage du crawl au niveau des acteurs majeurs du domaine s'égalise de plus en plus et que l'écart se rétrécit petit à petit entre le leader et l'outsider, autant par les progrès de l'un que par les soucis de l'autre. Les deux en sont certainement pleinement conscients. Bing doit avoir pour objectif de continuer sur cette cadence, alors que Google doit actuellement remuer ciel et terre pour améliorer ses performances actuelles, clairement pas au niveau de ce que l'on peut attendre d'un moteur de cette envergure. Une "spirale de l'excellence" dont pourraient donc bénéficier les deux moteurs. Il sera en tout cas très intéressant d'observer la suite de ce combat à distance entre les deux géants… Il n'existe d'ailleurs pas, à notre connaissance, d'observatoire ou d'outil permettant de mesurer la qualité du crawl des deux moteurs, alors que les outils de "météo du search", mesurant les changements d'algorithmes, sont très nombreux. Ne serait-ce pas une bonne idée ?
Combat de robots. Qui va gagner ? Source de l'image : DR + Abondance
Articles complémentaires :
Les données Bing Chat enfin sur Bing Webmaster Tools !
Bing Chat : les dernières nouveautés de juin
Gemini en France : les innovations de Google à ne pas manquer en juillet
Bing Webmaster Tools va intégrer des outils autour de Bing Chat
Meta AI : l’assistant intègre désormais les résultats de recherche de Google et Bing
Google à vraiment un problème depuis quelques temps avec l’outil de soumission qui est devenu très long.
Quand aux résultats des recherches, ça fait bien 3 ans que l’on constate un déclin (à part pour ce qui est commercial ou Amazon rafle tout) et des résultats de moins en moins pertinents et souvent très datés.
Je confirme, si besoin etait :-), vos constatations.
Bing s’est vraiment amélioré, et c’est tant mieux, car lorsqu’on a une situation de monopole (quelque soit le secteur d’activité), on se repose sur ses lauriers.
Il n’y a rien de mieux pour réveiller la « bête endormie » que la concurrence.
Concernant Bing, pour le crawl et l’indexation, cela est vrai que c’est super rapide.
Quand je crée un article sur mon site, en – de 12 heures, elle est deja dans la SERP alors que Google a un temps moyen (me concernant) entre 24 et 48h.
Idem pour les SItelinks, Bing les met vraiment plus vite que Google.
…