Google rappelle qu'il ne lit que les premiers 500 kilo-octets du fichier robots.txt d'un site web, ce qui doit logiquement correspondre à l'immense majorité des cas...
John Mueller, Webmaster Trends Analyst chez Google Zurich, rappelle sur son profil Google+ que les robots de Google n'analysent que les 500 premiers kilo-octets du fichier robots.txt d'un site web, comme le rappelle l'aide en ligne du moteur.
En même temps, ce fichier (au format textuel donc très léger) ne contient la plupart du temps que quelques lignes listant les répertoires à ne pas indexer et l'adresse du (des) fichier(s) Sitemap et ne fait que quelques kilo-octets dans l'immense majorité des cas. Logiquement, cette limite des 500 Ko ne doit donc être atteinte que dans des cas très précis et d'autant plus rares...
 Source de l'image : TechMissile |
Publier un commentaire
Articles complémentaires :
Goossips SEO : fichier robots.txt
Par Johan Sellitto
15 Oct 2024
·
3 minutes de lecture
Google va explorer des alternatives au fichier robots.txt
Par Mathilde Grattepanche
07 Juil 2023
·
3 minutes de lecture
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Par Mathilde Grattepanche
04 Juil 2024
·
4 minutes de lecture
Google Search Console dévoile son nouveau rapport robots.txt
Par Mathilde Grattepanche
17 Nov 2023
·
2 minutes de lecture
Goossips SEO : URL canonique, robots.txt, X-RateLimit
Par Johan Sellitto
06 Août 2024
·
3 minutes de lecture
Bien vu ! Je suis surpris qu'ils aient laissé passer un truc comme ça dans leur doc ! Merci Olivier 😉
@TomHTML : comme quoi, il faut toujours vérifier, vérifier, vérifier :))
Bonjour
Info confirmée par John Mueller de Google : c'est bien 500 Ko la limite pour les fichiers robots.txt, et non pas 500 Kbits 🙂 Voir : https://plus.google.com/113006028898915385825/posts/Wbk17p6bMSe
Toujours pas de réponse de John Mueller, mais il est clair que leurs docs so t ambigues. Normalement, on par le de kbit et de kbyte, pas de kb… Cependant, un usage voudrait qu'on utilise "kb" pour les bits et "kB" pour les octets. Mai sce n'est qu'un usage.
bref, tout ça demande vérification et modification sur leurs sites je pense…
cdt
En plus, j'ai du mal à comprendre pourquoi une limite se ferait au niveau des bits ??? La notion d'octet me semble plus logique dans ce cas…
@TomHTML : j'ai demandé confirmation à John Mueller.
500 kb = 62,5kB = 62,5 ko en français. Tu ne lis plus @Zorgloob sur Twitter ? 😛
Oui il y a un doute en fait… Restez connectés :)))
Effectivement j'ai vu l'actu sortir hier, on parlait bien alors de 62Ko…
@LaurentB : effectivement il y a un truc pas clair : 500kb = 500 kbits ou 500kbytes ?? J'ai posé la question à John Mueller, je reviendrai sur ce point ici dès que j'ai la réponse…
Merci pour cette précision
cdt
500 Ko, c'est quand même largement suffisant ! enfin je l'espère 🙂
Si je ne m'abuse, le doc GG parle de 500kb. Hors 1 octet = 8 bits, donc ton énoncé est faux.
Ca serait plutôt du genre 62Ko; ce qui ne donne pas autant de latitude.