Google annonce la suppression de l'outil de limitation de vitesse de crawl dans Google Search Console, qui sera effective le 8 janvier 2024. Cette décision fait suite à l'amélioration de la logique de crawl de Google et d'autres outils disponibles pour les éditeurs.
Ce qu'il faut retenir :
- L'outil de limitation de la vitesse de crawl sera retiré le 8 janvier 2024 ;
- Google a amélioré sa logique de crawl et propose d'autres outils plus efficaces pour les éditeurs ;
- Google ajustera automatiquement la vitesse de crawl en fonction des réponses du serveur, réduisant ainsi la nécessité de l'outil.
Contexte de la suppression
Google a annoncé la suppression de l'outil de limitation de la vitesse de crawl dans la Google Search Console. Cet outil, disponible depuis plus de 10 ans, permettait aux éditeurs de demander à Google de réduire la vitesse de crawl de leur site. Il était utile pour les sites présentant des problèmes de disponibilité, mais son effet ne durait que 90 jours.
La décision de Google s'appuie sur les améliorations apportées à sa logique de crawl, rendant l’outil de limitation de la vitesse de crawl obsolète. En effet, Google est capable d’adapter sa vitesse d’exploration en fonction des réponses du serveur. L’outil reste toutefois accessible jusqu’au 8 janvier 2024, pour les propriétaires de sites qui l’utilisent encore.
Fonctionnement et limites de l'outil
L'outil de limitation de la vitesse de crawl avait un effet relativement lent, pouvant prendre plus d'un jour pour appliquer les nouvelles limites. De plus, il était rarement utilisé par les propriétaires de sites, et ceux qui l'utilisaient réglaient souvent la vitesse de crawl au minimum. Google déconseillait d’ailleurs de limiter la vitesse de crawl manuellement, sauf en cas de problèmes de charge du serveur causés par Googlebot.
Google est capable d’ajuster automatiquement la vitesse de crawl en fonction des réponses du serveur, rendant l’outil bien moins utile, ce qui explique sa suppression.
Conséquences pour les propriétaires de sites
Les propriétaires de sites qui utilisaient cet outil devront désormais compter sur la logique de crawl automatique de Google. Si un site subit un crawl inhabituellement lourd qu'il ne peut pas gérer seul, Google recommande de se référer à la page d’aide expliquant comment réduire la vitesse d’exploration de Googlebot. Fait notable : il est toujours “recommandé” de réduire la vitesse de crawl via la Search Console, selon cette page d’aide, ce qui remet en question le discours de Google…
En cas de problèmes de crawl, les éditeurs peuvent toujours utiliser le formulaire de rapport Googlebot pour signaler des activités inhabituelles.
Source :
Articles complémentaires :
Google met en garde contre l’utilisation des codes 403 ou 404 pour limiter la vitesse d’exploration de Googlebot
Google annonce la fin de la transition vers l’Index Mobile First
La fin de la gratuité sur Google ? Ce que la SGE payante pourrait changer pour vous
Google et IA : vers la fin ou le renouveau du journalisme ?
Google casse les mythes du Crawl Budget : comment favoriser son indexation
