Crawler

Un crawler (spider, robot ou bot) est un programme qui parcourt le web de lien en lien pour récupérer le contenu des pages. Les moteurs de recherche s'en servent pour alimenter leur index (Googlebot, Bingbot), les référenceurs pour auditer un site (Screaming Frog, Oncrawl), et depuis 2023 les éditeurs d'IA pour collecter des données ou répondre aux requêtes de leurs assistants.

Définition du crawler

Le crawler est l'un des piliers du fonctionnement des moteurs de recherche. Sa mission ? Explorer chaque recoin du web, visiter les sites, lire et analyser leur contenu, et collecter des informations qui seront ensuite utilisées par les moteurs de recherche pour classer et indexer ces sites.

Le crawler explore le web de manière systématique pour trouver de nouvelles pages ou mettre à jour les informations sur les pages existantes. C'est lui qui fournit la matière première aux moteurs de recherche.

Les types de crawlers et leurs fonctions

Il existe divers crawlers sur le web, chacun ayant un rôle spécifique. Voici une présentation simplifiée des principaux types de robots :

1. Crawler d'indexation :

C'est l'outil qu'utilisent les moteurs de recherche pour parcourir et indexer les sites web. Grâce à lui, des plateformes comme Google fournissent des résultats pertinents aux requêtes des utilisateurs.

2. Crawler d'optimisation :

Destiné aux professionnels du web et du SEO, ce crawler analyse les sites pour repérer des éléments nuisibles au référencement, tels que les liens défectueux ou le contenu dupliqué.

3. Robot de veille :

Centré sur l'e-commerce, ce robot analyse et collecte des données tarifaires pour aider les entreprises à surveiller les prix de la concurrence et à adapter leurs propres stratégies tarifaires.

Fonctionnement d'un Crawler

Ces programmes dotés d'algorithmes complexes ont la capacité de parcourir, analyser et indexer le web de manière systématique. Mais comment fonctionnent-ils exactement ?

Comment un crawler découvre une page web :

La découverte d'une page web par un crawler peut se faire de différentes manières :

• Liens existants : les crawlers suivent les liens présents sur les pages qu'ils visitent pour découvrir de nouvelles pages. Si une page est bien reliée à d'autres sites ou pages populaires, elle sera probablement trouvée rapidement par le crawler.
• Soumissions manuelles : les propriétaires de sites peuvent soumettre directement leurs URLs aux moteurs de recherche via des outils comme la Google Search Console. Cela permet de s'assurer que le crawler est informé de l'existence de la page.
• Sitemaps : les sitemaps sont des fichiers spécifiques qui listent toutes les pages d'un site web. Ils fournissent aux crawlers une carte claire du site, facilitant leur tâche.

Ce qu'il fait une fois sur la page :

Une fois qu'un crawler arrive sur une page, plusieurs actions sont entreprises :

• Analyser le contenu : le crawler lit le code source de la page pour comprendre son contenu. Il identifie les titres, les sous-titres, le texte, les méta-tags, et d'autres éléments pertinents.
• Suivre les liens : comme mentionné précédemment, les liens sont essentiels pour les crawlers. Ils suivent chaque lien présent sur la page, que ce soit des liens internes (vers d'autres parties du même site) ou externes (vers d'autres sites), pour continuer leur exploration.
• Identifier les nouvelles informations : si le crawler a déjà visité cette page par le passé, il cherchera les mises à jour ou les nouvelles informations pour les ajouter à la base de données du moteur de recherche.

Comment il indexe l'information pour le moteur de recherche :

Après avoir parcouru et analysé une page, le crawler envoie les informations recueillies à la base de données du moteur de recherche. Cette étape s'appelle l'indexation. Durant l'indexation, le moteur de recherche trie et organise les données pour qu'elles puissent être rapidement accessibles lors d'une requête utilisateur. Les algorithmes du moteur de recherche déterminent la pertinence du contenu par rapport à différentes requêtes, et cela influence le positionnement de la page dans les résultats de recherche.

L'importance d'un site "crawler-friendly"

Un site "crawler-friendly" est un site conçu de manière à faciliter la tâche des crawlers lorsqu'ils le visitent. Avoir un tel site est crucial pour plusieurs raisons :

• Indexation efficace : Un site bien structuré et sans erreurs permet aux crawlers d'accéder facilement à toutes ses pages, garantissant ainsi une indexation complète et à jour.
• Optimisation des ressources : Les crawlers ont un budget de crawl, c'est-à-dire un temps limité qu'ils peuvent passer sur chaque site. Un site "crawler-friendly" permet aux robots de parcourir le maximum de pages en un minimum de temps, optimisant ainsi leur passage.
• Réduction des erreurs : Un site qui génère de nombreuses erreurs (pages introuvables, liens cassés, etc.) peut voir sa visibilité sur les moteurs de recherche affectée. En facilitant le travail des crawlers, on réduit le risque d'erreurs et on s'assure une meilleure indexation.

Nos conseils pour un bon "crawling" 

Afin d'optimiser la visibilité de votre site sur les moteurs de recherche, il est essentiel de s'assurer que les crawlers peuvent accéder, analyser et indexer efficacement votre contenu. Voici quelques conseils pratiques pour faciliter cette tâche et rendre votre site plus "crawler-friendly".

1. S'assurer que les pages importantes sont accessibles :

• Accès direct : Les pages principales de votre site doivent être facilement accessibles depuis la page d'accueil ou d'autres pages importantes via des liens clairs. Évitez les liens cachés ou trop profondément enfouis dans la structure du site. Une convention en SEO consiste à faire en sorte que chaque page du site soit accessible en 3 clics maximum depuis la page d'accueil.
• Plan du site : Utilisez un plan de site (aussi appelé "sitemap") pour lister l'ensemble des URL de votre site. Ceci aide les crawlers à découvrir et à indexer rapidement toutes vos pages, notamment celles qui ne sont pas directement liées depuis la page d'accueil.
• Optimisez le maillage interne et externe de votre site en créant des liens pertinents. Cela facilitera le travail des robots mais également la navigation des utilisateurs qui trouveront plus rapidement vos pages !

2. Utiliser un fichier robots.txt pour guider les crawlers :

• Guidage : Le fichier robots.txt sert de guide pour les crawlers, indiquant quelles pages ou sections du site ils peuvent ou ne peuvent pas explorer. Il est essentiel de s'assurer que ce fichier est bien configuré pour éviter le blocage accidentel de contenu important.
• Mise à jour : Vérifiez régulièrement votre fichier robots.txt pour s'assurer qu'il est à jour, surtout si des modifications importantes ont été apportées à la structure de votre site.

3. Éviter le contenu en double pour ne pas dérouter les crawlers :

• Uniformité des URL : Assurez-vous d'utiliser des URL uniformes. Par exemple, évitez d'avoir à la fois "example.com/page" et "www.example.com/page".
• Balises canoniques : Utilisez des balises canoniques pour indiquer aux moteurs de recherche quelle version d'une page est la version "principale" s'il existe des doublons.
• Réduire la redondance : Limitez autant que possible la publication de contenus identiques ou très similaires sur différentes pages de votre site. Le “duplicate content” a généralement un impact négatif sur le référencement d’un site.

4. S'assurer que le site se charge rapidement :

• Optimisation des images : réduisez la taille des images sans sacrifier leur qualité. Utilisez des formats modernes comme le WebP pour des images plus légères et de haute qualité.
• Compression : utilisez des outils de compression pour réduire la taille de vos fichiers CSS, JavaScript et HTML.
• Hébergement fiable : assurez-vous d'avoir un hébergeur web de qualité qui offre des vitesses de chargement rapides et une disponibilité constante.
• Réduction des requêtes : minimisez le nombre de requêtes HTTP nécessaires pour charger une page en combinant des fichiers, en utilisant des sprites pour les images et en évitant les redirections inutiles.

En suivant ces conseils, vous faciliterez non seulement le travail des crawlers, mais vous améliorerez également l'expérience de vos visiteurs. Un site bien optimisé pour le crawling est souvent un site qui offre une navigation fluide et une expérience utilisateur de qualité.

Bloquer un crawler

Il est possible de donner des instructions aux crawlers pour qu'ils ne scannent pas certaines parties de votre site si vous les jugez peu pertinentes. Voici comment :

Fichier robots.txt

Ce fichier, placé à la racine de votre site, permet d'indiquer aux crawlers les sections du site qu'ils ne doivent pas visiter. Par exemple, pour empêcher tous les crawlers d'accéder à un répertoire nommé "privé", vous ajouterez la directive "Disallow: /privé/".

Balise "noindex"

La balise "noindex" indique aux moteurs de recherche qu'une page particulière ne doit pas être indexée. En d'autres termes, même si le crawler visite cette page, elle ne sera pas incluse dans l'index du moteur de recherche. Ceci est particulièrement utile pour les pages que vous ne souhaitez pas rendre visibles dans les résultats de recherche, comme les pages internes, les pages de remerciement, ou d'autres contenus qui n'ont pas de valeur SEO. 

Balise "nofollow"

La balise "nofollow" indique aux moteurs de recherche qu'ils ne doivent pas suivre les liens sur une page donnée ou un lien spécifique. En pratique, cela signifie que si un crawler rencontre un lien marqué comme "nofollow", il ne le suivra pas pour explorer la page cible. Cette directive est utile pour contrôler la diffusion de votre "jus de lien" et pour éviter de donner de la crédibilité à des sites web non fiables ou non pertinents.

Attention : Bien que ces méthodes indiquent aux crawlers respectueux des standards qu'ils ne devraient pas accéder à certaines parties de votre site, elles ne constituent pas une protection contre l'accès non autorisé. Utilisez des mesures de sécurité appropriées pour protéger les informations sensibles.

Les logiciels de crawl

Plusieurs outils de crawl ont été développés afin d'analyser, d'optimiser et d'améliorer la structure et le contenu d'un site. Voici une liste non exhaustive des logiciels de crawl les plus populaires sur le marché :

Botify

Un outil complet qui analyse toutes les composantes d'un site web pour identifier les éventuels problèmes d'indexation et d'exploration. Botify offre une analyse détaillée et est souvent utilisé par de grands sites web en raison de sa capacité à gérer d'importants volumes de pages.

Lumar (ex-DeepCrawl)

Anciennement DeepCrawl, Lumar explore en profondeur les sites web pour détecter des problèmes tels que le contenu en double, les erreurs 404, ou les problèmes d'architecture. Il offre également des recommandations pour améliorer le référencement.

Screaming Frog

L'un des outils de crawl les plus connus, Screaming Frog analyse rapidement un site pour repérer les erreurs, les redirections, et les problèmes de contenu. Sa prise en main est assez intuitive, et il est apprécié pour sa capacité à donner un aperçu rapide des problèmes potentiels.

Semrush

Bien que largement reconnu comme un outil d'analyse de mots-clés et de concurrence, Semrush offre également des capacités de crawl. Il permet d'identifier des erreurs courantes et suggère des améliorations pour optimiser le référencement d'un site.

Oncrawl

Oncrawl est une solution orientée data qui s'appuie sur la logique des moteurs de recherche pour fournir des analyses détaillées des performances d'un site. En plus de l'analyse de la structure et du contenu, Oncrawl se penche également sur la performance technique et la vitesse de chargement des pages.

On parle aussi de crawler ici :

- Formation Crawl et Indexation Formaseo par Olivier Andrieu (2021)

- L’actu des moteurs - Nouveau crawler Google-InspectionTool et SafeSearch (2023)

- Les clés pour optimiser le crawl de son site (2023)

- Infographie : Le processus de crawl et d’indexation de Google (2021)

- Pourquoi crawler le Web est-il devenu si complexe aujourd’hui ? (2021)

Les crawlers des IA génératives

Depuis 2023, une nouvelle famille de robots parcourt le web : GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (qui pilote l'usage des contenus par Gemini sans toucher à Googlebot), Applebot-Extended, entre autres. Certains collectent des données d'entraînement, d'autres vont chercher des pages en temps réel pour répondre à un utilisateur. Chacun se déclare avec son user-agent et se contrôle dans le robots.txt, ce qui permet d'autoriser la recherche et de refuser l'entraînement, ou l'inverse. Bloquer Googlebot lui-même reviendrait à disparaître de Google ; bloquer Google-Extended n'a pas d'effet sur le classement.

FAQ

Quels sont les principaux crawlers des moteurs de recherche ?

Googlebot (avec ses variantes smartphone, images, vidéo, actualités), Bingbot, YandexBot, Baiduspider, DuckDuckBot, Applebot. Chacun se présente avec un user-agent identifiable et publie ses plages d'adresses IP pour vérification.

Comment vérifier qu'un robot est bien Googlebot ?

Par une recherche DNS inversée sur son adresse IP : le nom doit se terminer par googlebot.com ou google.com, et la résolution directe de ce nom doit redonner la même IP. Google publie aussi la liste de ses plages d'adresses au format JSON.

Un crawler peut-il ralentir mon site ?

Googlebot adapte son rythme à la capacité du serveur. Les crawlers de scraping ou d'IA mal configurés peuvent en revanche générer une charge importante : ils se limitent par robots.txt, par blocage au pare-feu ou par limitation de débit.

Faut-il bloquer les robots des IA ?

C'est un arbitrage : les autoriser favorise la citation dans ChatGPT, Perplexity ou les AI Overviews ; les bloquer protège le contenu contre l'entraînement. Beaucoup d'éditeurs autorisent les robots de recherche en temps réel et bloquent ceux dédiés à l'entraînement.

Quelle différence entre un crawler et un scraper ?

Le crawler découvre et parcourt des pages en suivant les liens ; le scraper extrait des données précises (prix, avis, contacts) des pages qu'il visite. Un même outil peut faire les deux ; c'est l'usage des données qui pose les questions juridiques.

En résumé

• Crawler : un robot qui parcourt le web de lien en lien pour lire les pages.
• Trois usages : indexation par les moteurs, audit SEO, collecte pour les IA.
• Site crawler-friendly : pages accessibles en peu de clics, sitemap, robots.txt propre, pas de doublons, chargement rapide.
• Contrôle : robots.txt pour l'exploration, meta robots pour l'indexation, jamais comme protection de sécurité.
• Robots des IA : GPTBot, ClaudeBot, PerplexityBot, Google-Extended, à gérer un par un.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !