Google dévoile la documentation d'un crawler peu connu jusqu’à aujourd’hui, "Google-Safety". Unique en son genre, ce crawler est conçu pour traquer les logiciels malveillants, ignorant les directives robots.txt.
Ce qu'il faut retenir :
- Google a officiellement reconnu l'existence du crawler "Google-Safety" ;
- Ce crawler est utilisé pour détecter les logiciels malveillants sur les liens publics des propriétés de Google ;
- Contrairement aux autres crawlers, le Google-Safety ne respecte pas les directives robots.txt.
Le Crawler Google-Safety
Google a mis à jour la liste de ses robots d'exploration, en ajoutant le nom et les informations d'un crawler relativement inconnu, sur lequel aucune documentation n'existait auparavant : Google-Safety.
Le crawler Google-Safety a été conçu spécifiquement pour renforcer la sécurité sur le web. Sa tâche principale est de scanner et d'identifier les logiciels malveillants sur les liens publics. Cette fonctionnalité est essentielle pour protéger les utilisateurs contre les menaces en ligne potentielles.
L'existence de ce crawler soulève cependant des questions importantes pour les professionnels du SEO et les webmasters. L'ignorance des directives robots.txt par Google-Safety signifie que certaines parties du site, normalement non indexées, peuvent être explorées dans le cadre de la sécurité. Cela pourrait influencer la manière dont les sites sont gérés et sécurisés.
Plus de transparence sur les crawlers de Google
Avec cette documentation mise à jour, Google offre une transparence accrue sur ses outils de crawling. Cela permet aux professionnels du web de mieux comprendre comment Google interagit avec leurs sites, en particulier dans le contexte de la sécurité en ligne.
La documentation du crawler Google-Safety marque une étape importante dans la compréhension des efforts de Google pour sécuriser l'écosystème en ligne. Elle souligne l'importance de la sécurité web dans les stratégies de SEO et de gestion de site.
Source :
Articles complémentaires :
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Google Search Console dévoile son nouveau rapport robots.txt
L’actu des moteurs – Nouveau crawler Google-InspectionTool et SafeSearch
Google va explorer des alternatives au fichier robots.txt
Google met à jour sa documentation sur les robots d’exploration
