Microsoft a annoncé hier sur son blog officiel dédié au moteur de recherche Live Search un certain nombre de nouvelles fonctionnalités sur son spider, qui devraient lui permettre de mieux indexer les sites web qu'il parcourt.
- Compression HTTP, augmentant la vitesse de "crawl" et la bande passante utilisée sur le serveur visité (RFC 2616 sections 14.11 and 14.39).
- Crawl conditionnel (RFC 2616 section 14.25) : une page ne sera lue par le spider que si elle a été modifiée depuis sa dernière visite. Un échange de données "If-Modified-Since" entre le serveur et le spider est ainsi prévu par le protocole HTTP.
A noter que le spider de Live Search s'appelle maintenant "msnbot/1.1" pour refléter les changements apparus cette semaine...
 Source : Abondance |
http://www.live.com/
http://www.w3.org/Protocols/rfc2616/rfc2616.html
Source :
Announcing Crawler Improvements for Live Search (Microsoft Live Search)
Articles connexes sur ce site :
- Live Search pourrait changer de nom en avril. Nom de code : "Rome" (7 février 2008)
- Le portail pour webmasters de Microsoft Live Search est en ligne (15 novembre 2007)
- Live Search traque les backlinks (18 octobre 2006)
Toutes les pages du réseau Abondance pour la requête spider live...
