Depuis le 15 janvier, Google a introduit une exigence pour limiter le scraping de ses SERP : l’activation de JavaScript pour accéder à son moteur de recherche. Si cette décision a été expliquée comme une amélioration des services pour les utilisateurs, ses conséquences vont bien au-delà, affectant directement les outils SEO et les LLM tels qu’OpenAI.

Ce qu'il faut retenir :

  • Google veut imposer l'activation de JavaScript pour accéder à son moteur de recherche, impactant les outils SEO et les LLM.
  • Cette mesure vise à renforcer la protection contre le scraping, le spam et les abus.
  • Les outils SEO doivent s’adapter, notamment via des navigateurs headless, mais cela pourrait augmenter les coûts et réduire la rapidité.
  • La communauté SEO française a rapidement trouvé des solutions grâce à l’entraide 💙

Les objectifs déclarés de Google

Selon un porte-parole de Google interviewé par TechCrunch, la nouvelle nécessité d'activer JavaScript pour accéder à son moteur de recherche est motivée par :

  • Protéger ses services contre les abus, comme le scraping intensif et les spams.
  • Offrir des résultats de recherche plus personnalisés et à jour.

JavaScript permet en effet de limiter les requêtes abusives grâce à des techniques comme le rate-limiting, et renforce les mécanismes de contrôle contre les bots. Cette mesure affecte pourtant un volume significatif d'utilisateurs : environ 8,5 milliards de recherches par jour se font actuellement sans JavaScript, d'après ce porte-parole !

Les outils SEO dans la tourmente

Les outils SEO, dont un certain nombre reposent sur le scraping des pages de résultats pour collecter des données essentielles, ont été directement impactés par ce changement de Google, qui les a bloqué entièrement ou en partie. Nous avions déjà communiqué la semaine dernière sur cette "panne des outils SEO", lorsque l'impact a commencé à se faire sentir, suite au post de Vincent Terrasi.

Adrian Delmarre, fondateur de l’outil Haloscan, nous a rapporté : "Les changements de jeudi/vendredi nous ont impactés finalement assez modérément. Nous avons perdu environ 50% de notre capacité de scrap jeudi (je précise que ça n'a en rien altéré le fonctionnement de Haloscan, qui est resté 100% disponible et utilisable tout le temps). Nous sommes revenus à pleine puissance vendredi en fin de journée. Sans surcoût, notamment grâce à une astuce partagée par Paul Sanches."

Merci à la réactivité et au partage au sein de la communauté SEO française 🐔, et chapeau à Paul pour avoir trouvé la solution idéale qui a aidé de nombreux outils.

"Google a changé un truc. Ça arrive souvent, mais en général on gère ça sans que ça se voit", explique Adrian, tout en soulignant qu'il ne faut pas être catastrophiste. "Ce n’est pas la fin du SEO. Il y aura d'autres changements. On s'adaptera. C'est le principe du SEO, non ?"

Si Google communique sur une exécution obligatoire du JavaScript pour accéder à ses SERP, d'après Adrian, ce n'est pas "encore" nécessaire d'activer JavaScript et donc d'émuler un navigateur pour tous les appels. Peut-être que ce sera le cas prochainement.

Une mesure avant tout dirigée contre les LLM ?

Pour plusieurs experts, cette décision de Google semble cibler en priorité les modèles linguistiques comme ceux développés par OpenAI ou Perplexity. Dans un webinar organisé ce 21 janvier par Olivier Duffez, Fabien Faceries (MyRankingMetrics) et Vincent Terrasi (Draft'n'Goal), les experts ont expliqué que les LLM récupèrent les meilleurs contenus de Google et les réutilisent pour répondre aux requêtes des utilisateurs. Cela pose un double problème : d’un côté, Google perd le contrôle sur ces données et ne profite pas directement de leur exploitation ; de l’autre, ces outils rendent certains utilisateurs moins dépendants de Google.

Cette interprétation est partagée par Adrian Delmarre : "Peut-être que Google ne cible pas les outils SEO, mais ses concurrents comme les LLM. Si c’est le cas, c’est une bonne nouvelle pour nous, car ces modèles s’adaptent rapidement et montrent à Google que les bloquer ne sert à rien.".

Des conséquences et des solutions pour les professionnels

Ces changements de Google affectent non seulement les scrapers, mais aussi des outils d’optimisation sémantique, de suivi de positionnement, de rédaction IA ou d’analyse de cannibalisation.

Les solutions envisagées pour s’adapter à cette nouvelle réalité comportent toutefois des limites :

  • Utilisation de JavaScript. Cette approche nécessite un rendu complet des pages, ce qui augmente significativement les coûts techniques pour les outils.
  • Renforcement des contraintes par Google. L’ajout potentiel de pièges ou de nouvelles règles anti-scraping pourrait rendre ces solutions encore plus complexes et de plus en plus difficiles à contourner.
  • Réduction de la vitesse d’exécution. Vincent Terrasi note qu’en l’état, les outils ne devraient pas augmenter leurs coûts à court terme. Cependant, leur rapidité en temps réel pourrait être compromise, bien que cela ne soit pas forcément critique pour le SEO, où l’instantanéité n’est pas indispensable.

Une communauté SEO solidaire

La réponse de la communauté SEO à ce bouleversement a mis en lumière une remarquable capacité d’adaptation et de collaboration (malgré les dramas SEO !). L’astuce partagée par Paul Sanches, qui a permis à plusieurs outils de contourner rapidement la contrainte de JavaScript, est un exemple marquant de cette solidarité et ça, ça fait chaud au coeur.

Merci également à Olivier Duffez et Fabien Faceries d'avoir organisé aussi rapidement un webinar pour faire le point sur la situation, le contexte de la panne et les solutions trouvées par les outils SEO !

Vincent Terrasi invite les SEO à développer des plans B, C, etc, pour être en capacité de croiser les données sans se reposer sur un outil unique, pour éviter de se retrouver sans métriques en cas de panne de service. Un seul être vous manque, et tout est dépeuplé !