Matt Cutts explique dans une nouvelle vidéo qu'il n'est pas utile et efficace de bloquer à Googlebot l'accès aux fichiers CSS et JavaScript externalisés car le moteur s'en sert pour analyser vos sites web...
Matt Cutts explique dans une nouvelle vidéo (1'38") qu'il est important de ne pas bloquer les feuilles de style (CSS) et codes Javascript d'un site web dans le fichier robots.txt car ils peuvent aider Googlebot à mieux analyser le site et s'enquérir d'informations qui peuvent être utiles aux algorithmes utilisés pour proposer les meilleurs résultats possibles aux internautes.
On sait notamment que Google explore de mieux en mieux les codes JavaScript et y déniche notamment des liens (mais pas que..). Le message est en tout cas clair : ne bloquez pas Googlebot pour l'indexation de vos CSS et JavaScript, Google s'en sert ! A vous de vérifier dans votre fichier robots.txt que c'est bien la cas...
Source de l'image : Google |
Publier un commentaire
Articles complémentaires :
Goossips : Matt Cutts et le Spam, Index Mobile First
Par Olivier Andrieu
28 Nov 2022
·
3 minutes de lecture
Google met en garde contre l’utilisation des codes 403 ou 404 pour limiter la vitesse d’exploration de Googlebot
Par Olivier Andrieu
21 Fév 2023
·
4 minutes de lecture
L’actu des moteurs – Nouveau crawler Google-InspectionTool et SafeSearch
Par Johan Sellitto
01 Juin 2023
·
2 minutes de lecture
La réponse du berger à la bergère ;p
http://www.youtube.com/watch?v=PNEipHjsEPU&feature=youtu.be&t=53s
bonjour,
est ce que le rendu "preview" dans les Serp fonctionne lorsque CSS/JS sont bloqués ?
matthieudeparis
Et si google faisait des associations du type texte + "font-size" ou "font-weight" ?
Rappelons que Google est une taupe qui a du mal a voir. Peut-être qu'ils avancent sur la prise en compte du design (dans une certaine mesure) pour avoir encore un meilleur aperçu du sens que l'on veut donner au site.
Après tout, s'il est capable de détecter un "display:none", il pourrait bien le faire pour le reste.
Bonjour
Pour ma part je trouve pour le moins intrusive la méthode, car elle peut parfois générer… du duplicate content qui ne DEVRAIT PAS avoir lieu d'être !
Un exemple simple : prenez Prestashop (en tout cas jusqu'à la version 1.4.x) et son module de statistiques intégré. Les données sont envoyées via un POST en javascript, donc strictement sans aucune URL dans le code. Et bien Google "trouve" les URL (qui regroupent trois variables encodées en Base64 séparées par un signe "=") et les indexe, pour les indiquer ensuite en duplicate dans les GWT !!!
S'il n'interprétait pas ce code JS, il n'y aurait pas de DC et donc pas d'alerte dans les GWT (et donc pas de "problèmes" soulevés !)
En clair, Google s'autogénère des problèmes !
@agence web
Pour crawler l'ajax, il existe déjà des directives qui fonctionnent très bien. Si le site est bien conçu, Google n'a pas besoin d'accéder aux fichiers Javascript et je pense que c'est surtout pour détecter des petites tricheries que Matt demande ce genre de choses.
Conclusion : je sais pas à quoi ça servira précisément à Google, mais il n'aura pas accès à ces fichiers, même s'il n'y a strictement rien de répréhensible dedans.
Ils veulent trop mettre leur nez partout.
Hé hé hé…
Tant que Matt ne me demande pas de laisser parser mon .htaccess, mon php.ini et de mettre tous mes scripts serveurs en copie statique "out of the box" afin qu'il puisse vérifier qu'ils ne contiennent pas de failles de sécurité (qui pourraient être dommageables pour l'internaute), je veux bien que le crawler de Google accède à des Jquery qui sont tirées de code.google, il aura l'impression d'être chez lui ^^
Bonjour
J'y mets un bémol cependant, car je vois pas mal de sites, qui – j'en suis sur – ne spamment pas le moins du monde, bloquer CSS et JS dans le robots.txt, tout simplement car ils pensent que ça n'a aucune utilité pour Google, que ce sont juste des fichiers "techniques"…
La vidéo de Matt Cutts s'adresse aussi à ces webmasters…
Mais la finalité me semble clairement pur Google être la détection de spam in fine…
cordialement
Je pense que tout le monde comprend ça dans le sens "Laissez-nous vérifier que vous ne trichez pas". Si vous bloquez, c'est que vous avez quelque chose à cacher, donc une petite note en moins par rapport à celui qui va laisser l'accès. Après, celui qui triche, il trouvera surement plus d'avantage à tricher qu'à le dire à GG …
D'un côté son discours peut être sournois. Si vraiment un lien est important, je ne vois pas l'utilisé de le mettre dans un fichier javascript. Je pense plutôt que c'est pour détecter des techniques visant à dissimuler du contenu ou des liens dans la page : liens blancs sur fond blanc, etc.
Après, c'est vrai que GoogleBot commence doucement à se faire à l'ajax. Dans ce cas précis, ça concerne le contenu réel des pages. Je suis déjà plus tenté de croire que c'est pour proposer de meilleurs contenus aux internautes.
Il me semble que Google a aussi dit qu'il fallait laisser le robot parcourir sa base de données pour qu'il puisse vraiment savoir toutes les informations que se trouvent son site. Si on écoutait Google, il faudrait leur filer nos clés de bagnole.
Blague à part, un référenceur qui suit les directives de Google n'a pas de raisons de bloquer un .css ou un .js.
@Emmanuel : c'est bien possible, en effet, c'est en tout cas ce que je me suis dit en premier en regardant la vidéo…
cdt
Il s'en sert aussi pour regarder les textes et les liens cachés ?
Surprenant comme commnucation