Crawl Budget

Le crawl budget (budget d'exploration) est la quantité de ressources que Google consacre à l'exploration d'un site : le nombre d'URL que Googlebot peut et veut visiter sur une période donnée. Il résulte de la capacité du serveur à répondre (crawl rate limit) et de l'intérêt de Google pour les pages (crawl demand). C'est un sujet pour les sites de plusieurs milliers de pages ; les petits sites n'en manquent jamais.

Définition du Crawl Budget

Commençons par la base : qu'est-ce que le Crawl Budget ? C'est le nombre de pages que les robots de Google, appelés "Googlebot", sont capables d'explorer sur votre site en un laps de temps donné.

Il est déterminé par deux facteurs principaux :

• Crawl Rate Limit : Il s'agit du nombre maximum de crawls qu'un moteur de recherche effectuera sur un site sans en perturber le fonctionnement. Ce nombre peut être limité pour éviter que les robots de crawl surchargent le serveur du site, ce qui pourrait avoir un impact négatif sur l'expérience des utilisateurs. Plusieurs facteurs peuvent influencer le Crawl Rate Limit, notamment la vitesse de réponse du serveur, le fait que le site soit en panne ou non, et le fait que le site ait précédemment rencontré des problèmes de serveur.
• Crawl Demand : Il s'agit du désir d'un moteur de recherche de revenir crawler un site. Si un site est fréquemment mis à jour ou si ses pages sont populaires (c'est-à-dire fréquemment liées à d'autres sites ou affichées dans les résultats de recherche), les moteurs de recherche peuvent avoir une plus grande "demande" de crawl. En revanche, les pages qui ne sont pas souvent mises à jour ou qui ne sont pas populaires peuvent être crawlées moins fréquemment.

Le Crawl Budget est donc la combinaison de ces deux facteurs. C'est une indication du nombre de pages qu'un moteur de recherche est disposé et capable de crawler sur votre site dans un laps de temps donné.

Comprendre et optimiser votre Crawl Budget est essentiel pour garantir que les moteurs de recherche peuvent indexer efficacement le contenu de votre site. Cela peut avoir un impact direct sur la visibilité de votre site dans les résultats de recherche, ce qui peut à son tour affecter le trafic sur votre site et finalement vos objectifs commerciaux.

Pourquoi le Crawl Budget est important ?

• Meilleure indexation : Les crawlers des moteurs de recherche, comme Googlebot, explorent votre site pour indexer les nouvelles pages. Un Crawl Budget plus élevé signifie que plus de pages peuvent être explorées et donc indexées, améliorant ainsi la visibilité de votre site dans les résultats de recherche.
• Mises à jour plus rapides : Si vous mettez fréquemment à jour le contenu de votre site, vous obtiendrez un Crawl Budget plus élevé. Cela permettra aux robots d'indexer vos mises à jour plus rapidement. Les utilisateurs verront toujours les informations les plus récentes lorsqu'ils trouveront votre site dans les résultats de recherche !
• Priorisation du contenu : Un bon contrôle de votre Crawl Budget vous permet de diriger les robots vers les pages les plus importantes ou les plus récentes de votre site. Cela garantit que ces pages soient indexées rapidement et aient une chance plus élevée d'apparaître dans les résultats de recherche.
• Performance du site : Un Crawl Budget bien géré aide à maintenir les performances de votre site. Un crawl excessif peut ralentir votre site, tandis qu'un crawl insuffisant peut laisser des pages non indexées. L'optimisation de votre Crawl Budget assure un équilibre entre l'exploration suffisante pour l'indexation et la préservation de la performance de votre site.

Facteurs qui influencent le Crawl Budget

Pour déterminer le Crawl Budget d'un site, les moteurs de recherche prennent en compte un certain nombre de critères, à comprendre pour optimiser votre budget crawl.

La taille et la structure de votre site

La taille de votre site (c'est-à-dire le nombre total de pages) peut avoir un impact significatif sur votre Crawl Budget. Les sites avec un grand nombre de pages nécessitent un budget de crawl plus élevé pour que toutes les pages soient explorées et indexées. 

La structure de votre site peut également influencer votre budget de crawl. Un site bien organisé, avec une structure de navigation claire, facilite le travail des robots et peut permettre une exploration plus efficace.

La vitesse du serveur

La vitesse à laquelle votre serveur répond aux demandes du robot de crawl peut affecter votre Crawl Budget. Si votre serveur est lent, le robot pourrait passer moins de temps à explorer votre site. Investir dans un hébergement de qualité, capable de répondre rapidement aux demandes, participe à augmenter votre budget de crawl.

La fréquence de mise à jour du contenu

Les moteurs de recherche cherchent à fournir les résultats les plus pertinents et les plus récents aux utilisateurs. Par conséquent, si votre site est régulièrement mis à jour avec du nouveau contenu, les robots de crawl voudront revenir plus souvent.

La popularité 

La popularité de votre site peut également jouer un rôle dans la détermination de votre Crawl Budget. Si votre site a beaucoup de liens entrants provenant de sites de qualité, cela peut indiquer aux moteurs de recherche que votre site est une ressource précieuse, et inciter les robots de crawl à visiter plus fréquemment votre site.

Les erreurs 

Les erreurs sur votre site, comme les liens brisés, les pages d'erreur 404 ou les redirections excessives, peuvent influencer négativement votre budget de crawl. Ces erreurs peuvent faire perdre du temps aux robots et réduire l'efficacité de leur exploration. Il est donc essentiel de maintenir votre site exempt d'erreurs pour optimiser votre budget.

Comment optimiser votre Crawl Budget ?

• Gardez votre site propre : supprimez les pages inutiles, les liens morts et évitez le contenu en double. Chaque page doit être unique. 
• Améliorez la vitesse de chargement de votre site : assurez-vous que votre serveur est rapide et que vos pages se chargent vite, pour ne pas ralentir les robots.
• Bloquez les pages non essentielles : dans le fichier robots.txt, bloquez les pages qui n’ont pas besoin d’être indexées afin d’éviter de dépenser une partie de votre budget crawl sur ces pages inutiles.
• Utilisez des URL claires : une structure d’URL cohérente facilite le travail des robots. Réécrivez vos URL d’une façon simple et descriptive. 
• Corrigez les erreurs de crawl : elles peuvent gaspiller votre crawl budget et rendre l’exploration de votre site plus difficile. Identifiez-les grâce à des outils comme la Search Console.
• Utilisez un sitemap : un plan de site aide Googlebot à naviguer plus facilement sur votre site.

Outils pour suivre et améliorer votre Crawl Budget

Vous souhaitez suivre votre progression ? Il existe des outils qui peuvent vous aider à surveiller votre Crawl Budget. 

Google Search Console

Google Search Console est un bon point de départ. Il vous montrera combien de pages Googlebot a exploré sur votre site. Le rapport « Pages » montre combien de pages sont indexées et pour quelles raisons les autres ne le sont pas (explorées mais non indexées, détectées mais non explorées : deux signaux typiques d'un budget insuffisant). 

Le rapport « Statistiques sur l'exploration » (Paramètres) donne le nombre de requêtes quotidiennes de Googlebot, le temps de réponse moyen, la répartition par code HTTP et par type de fichier : c'est la lecture directe du budget consommé. L'analyse des logs serveur reste la source la plus précise pour savoir quelles URL Googlebot visite réellement.

SEMrush

SEMrush est un outil SEO qui offre une variété de fonctionnalités pour l'optimisation du site. Vous pouvez surveiller les erreurs de crawl, les problèmes de contenu en double, et les problèmes de structure de site qui peuvent affecter votre Crawl Budget. 

Screaming Frog

Screaming Frog est un outil d'exploration de site très populaire. Il vous permet d'explorer votre site de la même manière qu'un moteur de recherche, vous donnant ainsi une meilleure idée de ce que les robots de crawl peuvent voir lorsqu'ils visitent votre site. Vous pouvez utiliser Screaming Frog pour identifier les erreurs de crawl, les liens brisés, les problèmes de contenu en double, etc.

Lumar (ex-DeepCrawl)

Lumar, anciennement DeepCrawl, est un autre outil d'exploration de site qui peut vous aider à optimiser votre crawl budget. Il offre une analyse détaillée de votre site, y compris des rapports sur les erreurs de crawl, les problèmes de performance du site, et les problèmes de structure du site.

On parle aussi de crawl budget ici :

- Les clés pour optimiser le crawl de son site

- Comment appréhender au mieux le budget crawl sur son site ?

- Comment appréhender au mieux le budget crawl sur son site ? (2ème partie)

- FAQ : le Crawl par les robots et l'indexation par les moteurs en 12 questions/réponses

- Vidéo SEO : Evaluer son budget crawl avec la Search Console 

- Vidéo SEO : La seconde équation du budget crawl 

- Vidéo SEO : Pages crawlables / indexables : l'équation du budget crawl

- Budget Crawl : Google nous explique sa vision (2017)

FAQ

Mon site est-il concerné par le crawl budget ?

Selon Google, seuls les sites de plus de 10 000 pages environ, ou ceux dont le contenu change très vite, ont à s'en soucier. Pour un site de quelques centaines de pages, Googlebot explore tout sans difficulté ; les problèmes d'indexation viennent alors de la qualité des pages, pas du budget.

Qu'est-ce qui gaspille le crawl budget ?

Les URL à paramètres et les filtres à facettes qui multiplient les combinaisons, les pages en doublon, les chaînes de redirections, les erreurs 5xx, les pages de recherche interne indexables, les calendriers infinis et les pages orphelines ou de très faible valeur.

Comment savoir ce que Googlebot explore vraiment ?

Avec le rapport Statistiques sur l'exploration de la Search Console pour les volumes, et avec l'analyse des logs serveur pour le détail : quelles URL, à quelle fréquence, avec quel code de réponse. Croiser les logs avec un crawl du site révèle les pages jamais visitées.

Bloquer des pages en robots.txt augmente-t-il le budget des autres ?

Oui, c'est le levier le plus direct pour empêcher Googlebot de perdre du temps sur des URL inutiles (filtres, tris, paramètres). Attention : bloquer une page n'est pas la désindexer, et il ne faut jamais bloquer des ressources nécessaires au rendu.

La vitesse du serveur influence-t-elle le crawl budget ?

Directement : Google augmente son rythme quand le serveur répond vite et sans erreur, et le réduit dès que les temps de réponse se dégradent ou que les 5xx apparaissent. Un hébergement rapide est le premier investissement pour un gros site.

En résumé

• Crawl budget : ce que Googlebot peut (capacité du serveur) et veut (intérêt des pages) explorer sur un site.
• Concerne les gros sites : au-delà d'une dizaine de milliers de pages ou à contenu très volatil.
• Gaspillages : paramètres, facettes, doublons, redirections en chaîne, erreurs serveur.
• Leviers : robots.txt, canonicals, maillage vers les pages utiles, sitemap propre, serveur rapide.
• Mesure : Statistiques sur l'exploration dans la Search Console, et analyse des logs.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !