Yahoo! vient d'annoncer que l'infrastructure de son moteur de recherche s'appuyait de plus en plus sur des technologies Open Source et notamment sur le système Hadoop d'Apache dans le cadre de ce que Yahoo! annonce comme "la plus grande implémentation commerciale dans le monde" de ce produit. Hadoop est donc maintenant utilisé par Yahoo! pour mettre en place le Webmap, l'application qui produit l'index de 20 milliards de pages qu'utilise la technologie de recherche de Yahoo! (Yahoo! Search Technology).
Voici quelques chiffres sur ce Webmap :
- Nombre de liens entre les pages de l'index : 1 trillion.
- Poids de l'index : 300 Teraoctets, une fois compressé !
- Taille des disques utilisés en production : 5 Petaoctets...
Dans la vidéo ci-dessous, Jeremy Zawodny, du Yahoo! Developer Network, interviewe Arnab Bhattacharjee (manager - Yahoo! Webmap Team) and Sameer Paranjpye (manager - Hadoop development) qui expliquent comment le projet a été mis en place :
 Logo du projet Apache Hadoop - Source : Apache |
Source :
Hadoop Now at the Heart of Every Yahoo! Search (Yahoo!)
Hadoop running in production on the Yahoo! Search Webmap (Yahoo!)
Articles connexes sur ce site :
- OpenSocial : des APIs sociales en Open Source pour Google (31 octobre 2007)
- Google héberge des projets Open Source (31 juillet 2006)
- Un métamoteur en Open Source (8 juin 2005)
- Un outil de reporting de référencement "Open Source" (6 janvier 2004)
Toutes les pages du réseau Abondance pour la requête open source...
Articles complémentaires :
Le moteur de recherche Brave prend son indépendance
Bing veut injecter du ChatGPT dans son moteur de recherche
