Googlebot

Googlebot est le robot d'exploration de Google : le programme qui parcourt le web de lien en lien, télécharge les pages et les transmet aux systèmes d'indexation, préalable à toute apparition dans les résultats de recherche. Il existe en deux versions principales, smartphone et ordinateur, et rend les pages avec une version récente de Chrome.

Qu'est-ce que Googlebot ?

Googlebot est le robot utilisé par Google pour explorer et indexer le contenu du web. Le mot "bot" peut être traduit par "robot" en français.

Tout comme Googlebot, il existe d'autres robots d'indexation, comme YandexBot de Yandex, Bingbot de Bing ou DuckDuckBot de DuckDuckGo. À travers le monde, des milliers de ces robots explorent continuellement le web pour maintenir à jour les bases de données des moteurs de recherche.

Historique de Googlebot

Brève chronologie de l'évolution de Googlebot

1990’s : Les premiers moteurs de recherche utilisaient des méthodes manuelles pour collecter et mettre à jour leur contenu. Les sites devaient être soumis individuellement par leurs propriétaires pour être indexés.

1996 : Larry Page et Sergey Brin, les cofondateurs de Google, ont commencé à travailler sur un projet appelé "Backrub", un précurseur de Google. Ce projet utilisait déjà une technologie similaire à celle des robots d'indexation pour analyser les liens entre les sites web.

1997-1999 : Avec la création officielle de Google, le besoin d'un robot d'indexation plus sophistiqué est devenu apparent. C'est à cette période que Googlebot a commencé à prendre sa forme actuelle, parcourant le web à une vitesse et une efficacité sans précédent.

Années 2000 à aujourd'hui : Googlebot a continuellement évolué, s'adaptant aux changements technologiques et aux besoins des utilisateurs. Par exemple, avec la montée en puissance du mobile, Googlebot a été optimisé pour mieux indexer les sites mobiles, notamment avec l’index Mobile-first, apparu en 2016.

De plus, face à la complexité croissante du web, Googlebot a appris à mieux comprendre le JavaScript, les contenus dynamiques et d'autres technologies modernes, ce qui a augmenté considérablement son efficacité. 

Pourquoi Google a-t-il créé Googlebot ?

Depuis sa création, Googlebot a permis d’automatiser le processus d'exploration et d'indexation du web. L'objectif était de fournir aux utilisateurs les résultats de recherche les plus pertinents et à jour. Avant l’arrivée de ces robots, l'indexation était un processus manuel et laborieux, ce qui rendait les résultats de recherche obsolètes ou incomplets.

Avec Googlebot, Google peut parcourir régulièrement le web, découvrir de nouvelles pages, mettre à jour son index et ainsi fournir aux utilisateurs des résultats de recherche plus précis, pertinents, et actualisés.

Comment Googlebot explore-t-il le Web ?

Ce robot fonctionne comme un explorateur virtuel, naviguant de page en page de manière quasiment aléatoire pour collecter des informations et les rapporter à Google. Voici comment cela se passe :

Démarrage à partir d'une liste d'URLs connues : Googlebot commence son processus d'exploration à partir d'une liste d'URLs connues, qui est continuellement mise à jour avec de nouvelles adresses découvertes lors des explorations précédentes.

Analyse des pages web : Une fois sur une page, Googlebot analyse son contenu : le texte, les images, les vidéos, les liens, etc.

Il est capable de lire et de comprendre le code HTML et les métadonnées pour identifier les informations essentielles.

Découverte de nouveaux liens : En parcourant une page, Googlebot découvre des liens (hypertextes) qui pointent vers des pages internes et externes au site. Ces nouvelles pages sont ajoutées à sa liste d'exploration pour des analyses futures.

Indexation : Après avoir analysé une page, Googlebot la classe dans l'index de Google : une immense bibliothèque de données consultée chaque fois qu'une recherche est effectuée sur Google par un utilisateur. 

Processus continu : Ce processus est continuellement répété, formant ainsi une boucle dans laquelle Googlebot découvre constamment de nouvelles pages, met à jour l'index de Google, et aide à fournir des résultats de recherche toujours plus précis et à jour.

Quel impact sur le SEO ?

Ce robot d'indexation, aussi appelé “crawler”, “bot”, “spider” ou “user-agent”, joue un rôle primordial dans la manière dont Google perçoit, comprend et classe les multiples pages web du monde entier.

Lorsque Googlebot explore une page, il collecte des informations sur son contenu. Ces données sont ensuite envoyées à la base de données de Google pour y être indexées, c'est-à-dire : répertoriées. C’est alors que les algorithmes d'indexation de Google entrent en jeu.

Ces algorithmes analysent les informations recueillies, évaluent la pertinence et la qualité du contenu et déterminent comment indexer ces pages dans la base de données.

Ils déterminent également le classement des pages sur la SERP en fonction de divers critères, tels que la pertinence du contenu par rapport à une requête, la qualité du site, l'autorité des liens entrants, et bien d'autres facteurs. 

Par exemple, le système de contenu utile (Helpful Content), lancé fin 2022 et fondu dans les core updates depuis mars 2024, vise à faire remonter les contenus créés pour les internautes. Il s'appuie en partie sur les critères E-E-A-T de Google pour juger de la qualité d'un site et évaluer son positionnement sur la SERP.

En somme, pour qu'un site web soit bien positionné dans les résultats de recherche (l’objectif du SEO), il doit premièrement être exploré efficacement par Googlebot, et deuxièmement être correctement évalué par les algorithmes d'indexation.

Une bonne compréhension de ce processus permet aux professionnels du SEO d'optimiser leur site de manière à répondre aux critères de performance, de qualité et de pertinence des moteurs de recherche, maximisant ainsi les chances d'un bon classement.

Pourquoi est-il essentiel de rendre son site "optimisé" pour Googlebot ?

Visibilité dans les résultats de recherche : Un site bien optimisé pour Googlebot est plus susceptible d'être indexé correctement, ce qui augmente ses chances d'apparaître dans les résultats de recherche pertinents.

Expérience utilisateur améliorée : En suivant les meilleures pratiques recommandées par Google, non seulement vous facilitez le travail de Googlebot, mais vous améliorez également l'expérience de vos visiteurs. Des temps de chargement rapides, un contenu de qualité, et un site mobile-friendly sont bénéfiques tant pour le SEO que pour vos utilisateurs. 

Éviter les pénalités : Google a progressivement instauré des directives pour assurer la qualité des résultats de recherche et éviter le déploiement des pratiques Black-Hat. Un site optimisé pour Googlebot est un site qui respecte ces directives, évitant ainsi les sanctions ou les pénalités qui pourraient nuire à sa visibilité.

Comment m'assurer que Google a indexé mes pages ?

L'indexation par Google est une étape essentielle pour garantir que vos pages apparaissent dans la SERP. Si une page n'est pas indexée, elle n'apparaîtra pas dans les résultats, même si son contenu est pertinent pour une requête donnée. Voici comment vous pouvez vérifier que vos pages ont été indexées par Google :

La recherche "site:"

C'est la méthode la plus simple pour vérifier quelles pages de votre site ont été indexées.

Comment faire ? Dans la barre de recherche de Google, tapez "site:" suivi immédiatement de votre nom de domaine. Par exemple : site:exemple.com.

Que montre-t-elle ? Les résultats afficheront les pages de votre site que Google a indexées. Si une page spécifique n'apparaît pas, elle n'a probablement pas été indexée.

La Google Search Console

Google Search Console (GSC) est un outil gratuit développé par Google qui fournit des informations détaillées sur la performance de votre site dans les résultats de recherche.

Indexation des pages

Dans la console, la partie “indexation des pages” vous donnera un aperçu de l'état d'indexation de vos pages. Il montrera les pages actuellement indexées, celles qui ont été bloquées par le robots.txt, celles qui contiennent des erreurs, etc.

Soumettre un sitemap

Si vous avez un sitemap pour votre site, vous pouvez le soumettre via la GSC. Cela aidera Google à découvrir et indexer vos pages plus rapidement. Vous pourrez ensuite surveiller le rapport “sitemap” pour voir combien d'URLs de votre site ont été indexées.

L'outil "Inspection d’URL" de la Google Search Console

Cet outil vous permet d'entrer l'URL d'une page spécifique pour voir son statut d'indexation.

Pour l'utiliser, collez l'URL de votre page dans la barre de recherche de la GSC. L'outil vous fournira des informations sur l'état d'indexation de cette page.

Par ce biais, vous pouvez également demander à Google d’indexer des pages qui n’apparaissent pas encore dans son répertoire.

Vérifier les alertes et les messages dans la GSC

La console vous enverra des alertes et des messages si des problèmes d'indexation sont détectés sur votre site. Il est essentiel de vérifier régulièrement ces notifications et de prendre des mesures correctives si nécessaire.

Nos conseils pour faciliter le crawl de Googlebot et encourager l’indexation de vos pages

Assurez-vous que votre fichier "robots.txt" est correctement configuré : Des erreurs dans ce fichier pourraient empêcher Googlebot d'accéder à l'intégralité ou à une partie de votre site.

Vérifiez l’existence de votre sitemap et son fonctionnement : Un sitemap est littéralement un plan de votre site web. Il fournit une liste structurée de toutes les pages de votre site, ce qui facilite l'accès et l'indexation par Googlebot. 

Optimisez la vitesse de votre site : Si votre site est trop lent, Googlebot pourrait avoir des difficultés à l'explorer intégralement, et cela pourrait consommer anormalement votre budget crawl. Utilisez des outils comme Google PageSpeed Insights pour identifier et résoudre les problèmes de vitesse.

Évitez le contenu dupliqué : Si Googlebot détecte de grandes quantités de contenu identique sur plusieurs pages, il pourrait considérer cela comme une tentative de manipulation des résultats de recherche et pourrait donc limiter l'exploration.

Restez informé des directives de Google : Google met régulièrement à jour ses recommandations pour les webmasters. Il est essentiel de se tenir au courant pour éviter tout problème d'exploration et d'indexation.

Freins à Googlebot et erreurs techniques à éviter

Certains obstacles peuvent entraver l’action de ce robot et impacter la manière dont il perçoit et classe un site. Voici une liste non exhaustive des freins majeurs à Googlebot et des erreurs techniques à éviter pour assurer une indexation optimale : 

Contenu généré via JavaScript non optimisé

Bien que Googlebot soit désormais capable d'indexer le contenu généré via JavaScript, un code complexe ou mal optimisé peut ralentir ou même empêcher l'indexation.

Erreurs "404" en nombre

Des pages cassées ou des liens conduisant à des erreurs "404" peuvent freiner Googlebot dans son exploration. Veillez à réparer ces liens et à mettre en place des redirections là où c'est nécessaire.

Temps de chargement lent

Si un site est lent à charger, Googlebot peut avoir du mal à accéder à tout le contenu dans le temps imparti pour l'exploration, ce qui peut impacter l'indexation.

En ce sens, pour aider les éditeurs de sites à améliorer les performances de leurs pages, Google a mis en place en 2020 les Core Web Vitals : un ensemble de critères permettant d’améliorer le temps de chargement et la stabilité des pages. C’est une ressource essentielle pour faciliter le travail de Googlebot et le confort des utilisateurs.

Mauvaise gestion des URLs

Des URLs avec de nombreux paramètres ou mal configurées peuvent créer des doublons de contenu et rendre difficile l'exploration du site par Googlebot.

Problèmes de "canonicalisation"

L'absence de balises canoniques ou leur mauvaise utilisation peut conduire Google à indexer des versions non souhaitées d'une page.

Blocage des ressources essentielles

Si des fichiers CSS, JavaScript ou d'autres ressources essentielles sont bloqués, Googlebot peut ne pas voir le site tel que l'utilisateur le voit, ce qui peut impacter la manière dont le site est évalué et classé.

Structures de site complexes 

Une architecture de site complexe ou un maillage interne faible peuvent entraver l'exploration efficace du site par Googlebot. Pour les sites complexes et volumineux, il est recommandé d’utiliser un sitemap afin d’aider Googlebot à crawler les pages.

Renforcer le maillage interne entre vos pages est aussi un excellent moyen d’aider Googlebot à circuler sur votre site (et cela impactera positivement votre classement SEO !)

On parle aussi de Googlebot ici :

- Google met en garde contre l’utilisation des codes 403 ou 404 pour limiter la vitesse d’exploration de Googlebot (2023)

- Google publie la liste d’adresses IP de ses robots Googlebot (2021)

- Googlebot va changer son User Agent (2019)

Les différents Googlebot et les autres robots de Google

Googlebot existe en deux déclinaisons principales, Googlebot Smartphone (le robot de référence depuis l'index mobile-first) et Googlebot Desktop, auxquelles s'ajoutent des robots spécialisés : Googlebot Image, Googlebot Video, Googlebot News, Google StoreBot pour le e-commerce, ou Google-InspectionTool utilisé par les outils de test de la Search Console. Depuis 2023, un jeton distinct, Google-Extended, permet de refuser l'usage des contenus pour entraîner les modèles Gemini sans bloquer Googlebot ; il n'a aucun effet sur le classement dans la recherche. Tous ces robots se déclarent par leur user-agent, et Google publie la liste de leurs plages d'adresses IP pour qu'un site puisse vérifier qu'un visiteur est bien l'un d'eux.

FAQ

Comment savoir si Googlebot visite mon site ?

Le rapport Statistiques sur l'exploration de la Search Console (Paramètres) donne le nombre de requêtes quotidiennes, les codes de réponse rencontrés et le temps de réponse du serveur. Les logs du serveur listent chaque passage, avec l'URL et l'heure.

Comment vérifier qu'un robot qui se dit Googlebot est authentique ?

Par une recherche DNS inversée sur son adresse IP (le nom obtenu doit se terminer par googlebot.com ou google.com, et sa résolution directe doit redonner la même IP), ou en comparant l'IP aux plages officielles que Google publie au format JSON.

Googlebot exécute-t-il le JavaScript ?

Oui, avec une version récente de Chrome, mais dans un second temps et avec un budget limité. Le contenu et les liens essentiels doivent figurer dans le HTML initial ou être rendus côté serveur ; ce qui n'apparaît qu'après un clic ou un défilement n'est pas vu.

Peut-on limiter la vitesse d'exploration de Googlebot ?

Google adapte de lui-même son rythme à la capacité du serveur. En cas de surcharge, la bonne réponse est de renvoyer temporairement des codes 503 ou 429 ; Google déconseille d'utiliser des 403 ou 404 à cet effet, qui feraient sortir les pages de l'index.

Quelle est la différence entre Googlebot et Google-Extended ?

Googlebot explore pour la recherche ; Google-Extended est un jeton de contrôle, dans le robots.txt, qui autorise ou refuse l'utilisation des contenus pour entraîner les modèles d'IA de Google. Bloquer Google-Extended ne change rien à la présence du site dans Google ni dans les AI Overviews.

En résumé

• Googlebot : le robot d'exploration de Google, à l'origine de toute indexation.
• Deux versions principales : Smartphone (référence) et Desktop, plus des robots spécialisés (images, vidéos, actualités).
• Il rend le JavaScript, avec un délai et un budget limités : l'essentiel doit être dans le HTML.
• À suivre dans la Search Console (statistiques d'exploration, inspection d'URL) et dans les logs.
• Faciliter son travail : robots.txt propre, sitemap, site rapide, pas de doublons, maillage clair.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !