Un développeur web du nom de Colin Cochrane a remarqué cette semaine que le site de "bookmarking social" Del.icio.us, propriété de Yahoo!, bloquait les spiders des moteurs de recherche au travers de son fichiers robots.txt selon l'intitulé suivant :
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss
En gros, la plupart des répertoires importants du site sont interdits à ces spiders... Dont celui de Yahoo!. Et, effectivement, une recherche effectuée sur le site Del.icio.us (avec la syntaxe "site:del.icio.us") sur Google, pour les pages indexées sur les 7 derniers jours, ne donne que des liens sans version cache ni résumé, indiquant que les documents n'ont pas encore été indexés par le moteur de recherche :
 Source : Abondance |
La raison est certainement que Yahoo! intègre désormais les résultats de Del.icio.us dans ses résultats de recherche, offrant ainsi un avantage concurrentiel par rapport aux autres moteurs de recherche, et qu'il n'a aucune envie que ces derniers fassent la même chose en indexant les pages de son site...
Source :
del.icio.us Bans Search Engine Spiders (Colin Cochrane)
Yahoo Blocking Bots from Spidering Delicious Bookmarks (Search Engine Journal)
Articles connexes sur ce site :
- Yahoo! teste Del.icio.us dans ses pages de résultats (21 janvier 2008)
- Le référencement social au centre des préoccupations (16 mai 2007)
Toutes les pages du réseau Abondance pour la requête delicious...
Articles complémentaires :
Goossips SEO : balises événements, contenu bloqué, problème d’indexation
Comment Google a bloqué 170 millions de faux avis en 2023
Yahoo! bientôt de retour dans le monde des moteurs de recherche ?
Instagram et TikTok : Les nouveaux moteurs de recherche qui défient Google
L’actu des moteurs – Nouveau crawler Google-InspectionTool et SafeSearch
Bizarre : les URLs bloquées ne sont pas celles où sont enregistrés les liens, l’organisation principale de Delicious étant del.icio.us/Compte/Tag (avec Compte étant l’identifiant personnel et Tag le tag voulu) ou del.icio.us/Tag (avec quelques Tags réservés, « popular » par exemple)
Si confirmés (je n’ai pas vérifié) les tests de l’auteur montrent donc autre chose, le robot.txt ne faisant qu’empêcher l’indexation des répertoires administratifs.
[parenthèse]
Tiens je ne connaissais pas la
fonction de google sur le délai… j’ai essayé avec mon site (collectionnix.com) et cela n’est pas très cohérent… pas de résultat dans les 7, 14 , 31 derniers jours… juste dans les 6 derniers mois et avec des dates dans les 15 derniers jours…
Est-ce que ce module est réellement au point ou est-ce moi qui ait du mal ?
[/parenthèse]