John Mueller a indiqué sur un forum que les fichiers robots.txt modifiés trop souvent pouvaient créer des crawls non désirés sur un site web. Normal...
John Mueller a indiqué sur un forum pour webmasters qu'il déconseillait de créer des fichiers robots.txt de façon dynamique (modifiés plusieurs fois par jour en fonction de certains critères comme l'heure ou d'autres événements), car Googlebot ne crawle pas ce fichier à chaque venue sur le site (et heureusement !) mais plutôt en moyenne une fois par jour.
Le robot va donc prendre en compte la version en cours de ce fichier, au moment d'une de ses explorations, et la gardera en cache jusqu'à sa prochaine lecture. Il ne prendra en tout cas clairement pas chaque version du robots.txt lors de ses changements successifs, ce qui peut induire des comportements non conformes à ce que vous désiriez. Logique...
Il ajoute également qu'il est en revanche tout à fait normal de créer des fichiers Sitemap XML de façon dynamique. Logique également...
 Un spider (allégorie 🙂 ). Source de l'image : DR |
Articles complémentaires :
Google va explorer des alternatives au fichier robots.txt
Goossips : Temps passé sur la page, Code 5xx sur robots.txt, Interdiction de crawl
