YandexBot

YandexBot est le robot d'exploration de Yandex, premier moteur de recherche en Russie et acteur significatif dans plusieurs pays de l'ex-URSS et en Turquie. Il fonctionne comme Googlebot (suivi des liens, respect du robots.txt, déclinaisons spécialisées pour les images, les vidéos ou l'actualité) et se pilote avec les mêmes outils, dont Yandex Webmaster, l'équivalent de la Search Console.

Qu'est-ce que YandexBot ?

YandexBot est le robot d'exploration, également appelé spider, du moteur de recherche russe Yandex.

Son rôle principal est de parcourir le web en cliquant sur des liens pour découvrir et indexer de nouvelles pages. En procédant ainsi, YandexBot contribue à enrichir l'index de Yandex, qui contient des milliards de pages, et permet aux utilisateurs d'accéder aux informations recherchées.

Il fonctionne de manière similaire à d'autres robots d'exploration tels que Googlebot et Bingbot. Par exemple, YandexBot lit et respecte le fichier robots.txt sur les sites pour déterminer quelles parties peuvent être explorées et indexées. De plus, il suit les liens internes et externes pour identifier de nouveaux contenus à indexer.

Le moteur de recherche Yandex

Yandex est le moteur de recherche le plus utilisé en Russie, où il devance Google avec plus de 60 % des recherches selon les mesures d'audience de ces dernières années.

Il est également utilisé dans d'autres pays, notamment en Biélorussie, au Kazakhstan et en Turquie, où il occupe la deuxième place derrière Google.

Il dispose de son propre navigateur (Yandex Browser) et est proposé par défaut dans plusieurs navigateurs et appareils vendus dans ces régions.

En plus de son service de recherche principal, Yandex offre également une variété de services en ligne, tels que la messagerie électronique, la cartographie, la vidéo et la musique en streaming, et le stockage cloud.

Les différents robots de Yandex

YandexBot se décline en plusieurs versions, chacune ayant une fonction spécifique, pour indexer et afficher des résultats diversifiés et adaptés aux requêtes des utilisateurs. Parmi ces robots, on trouve :

- YandexMedia : ce robot explore les sites à la recherche de contenus audio et vidéo à indexer. Par exemple, YandexMedia peut identifier et indexer des vidéos YouTube.

- YandexImages : YandexImages explore les sites web pour découvrir et indexer des images, permettant ainsi aux utilisateurs de rechercher des images spécifiques via Yandex. Il prend en compte la taille, la résolution et le format des images pour les afficher dans les résultats d'images de Yandex.

- YandexNews : ce crawler est spécialisé dans l'indexation des sites d'actualités et des articles de presse. Il permet aux utilisateurs de rechercher et de suivre les dernières actualités sur des sujets spécifiques. YandexNews indexe des milliers de sources d'information en plusieurs langues, dont le russe, l'anglais et le turc.

- YandexBlogs : ce spider explore et indexe les articles de blog pour les afficher dans les résultats de recherche et les catégoriser par sujet. Il permet aux utilisateurs de trouver des articles pertinents et récents sur des sujets spécifiques tels que la technologie, la mode, la cuisine ou les voyages.

YandexBot et le SEO

Pour un site, être indexé par YandexBot est essentiel pour apparaître dans les résultats de recherche de Yandex et bénéficier d'une visibilité dans les régions où ce moteur de recherche est dominant.

Les webmasters doivent donc prendre en compte YandexBot dans leur stratégie de référencement naturel international et s'assurer que leur site est accessible à ce robot.

Pour cela, il est recommandé de vérifier que le fichier robots.txt du site autorise l'accès à YandexBot et de suivre les bonnes pratiques du SEO pour favoriser l'exploration et l'indexation des pages.

Utilisations diversifiées de YandexBot

En plus de son rôle principal d'exploration et d'indexation des pages web, YandexBot peut être utilisé pour d'autres fonctions.

Par exemple, il peut collecter des informations pour des portails de comparaison de prix en explorant les sites marchands et en extrayant les données pertinentes sur les produits et leur tarif.

Il est également capable de valider les microformats, ces données structurées intégrées dans le code HTML des pages pour faciliter leur compréhension par les moteurs de recherche.

On parle de Yandex ici :

- Yandex ART : Nouvelle ère de génération d’images IA (2023)

- Les 1 922 critères de pertinence du moteur Yandex dévoilés (2023)

- Yoast va adopter le protocole IndexNow de Bing et Yandex (2022)

Yandex et IndexNow

Yandex est, avec Bing, à l'origine du protocole IndexNow (2021), qui permet à un site de notifier instantanément aux moteurs participants la création, la modification ou la suppression d'une URL, au lieu d'attendre le passage du robot. Google ne l'a pas adopté, mais Bing, Yandex, Naver et Seznam l'utilisent, et de nombreux CMS et CDN le proposent en un clic.

FAQ

Faut-il optimiser son site pour Yandex ?

Seulement si l'on vise la Russie, les pays russophones ou la Turquie. Les bases du SEO s'appliquent, avec des particularités : Yandex accorde un poids fort aux signaux de comportement des utilisateurs et à la géolocalisation du site, et propose son propre outil de suivi, Yandex Webmaster, et son analytique, Yandex Metrica.

Comment vérifier qu'un robot est bien YandexBot ?

Comme pour Googlebot, par une recherche DNS inversée : le nom obtenu doit se terminer par yandex.ru, yandex.net ou yandex.com, et sa résolution directe doit redonner la même adresse IP.

YandexBot pose-t-il des problèmes de charge ?

Il peut explorer un site à un rythme soutenu. Yandex respecte la directive Crawl-delay dans le robots.txt (que Google ignore) et permet de régler la vitesse d'exploration dans Yandex Webmaster.

Quels sont les critères de classement de Yandex ?

Une fuite de code source en janvier 2023 a révélé près de 2 000 facteurs utilisés ou testés par Yandex : liens, comportement des utilisateurs (clics, durée), fraîcheur, âge du domaine, signaux de marque. Ce n'est pas l'algorithme de Google, mais la liste a alimenté beaucoup de réflexions sur les signaux que les moteurs peuvent exploiter.

En résumé

• YandexBot : le robot d'exploration de Yandex, moteur dominant en Russie.
• Fonctionnement : comme Googlebot, avec des déclinaisons images, vidéos, actualités, et le respect du Crawl-delay.
• Outils : Yandex Webmaster et Yandex Metrica.
• IndexNow : le protocole de notification instantanée co-créé avec Bing.
• Pertinent pour les sites qui visent la Russie, les pays russophones ou la Turquie.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !