Une première version stable de la plateforme de veille collaborative Magellan Metasearch, sous licence open-source (GPL), vient d'être dévoilée. Ce progiciel, destiné à être installé sur un intranet, automatise la veille sur les moteurs de recherche, et possède les caractéristiques suivantes :
- Interrogation de dix moteurs de recherche (Web, Newsgroups, Weblogs), dont Google Web / Groups, AllTheWeb, Feedster, Gigablast...
- Récupération du nombre maximum de résultats pour chaque moteur, afin de tendre au maximum à l'exhaustivité.
- Langage d'interrogation avancé : méta-opérateurs et opérateurs de proximité.
- Dédoublonnage des résultats de recherche, extraction des méta-données pertinentes, tri multicritère.
- Modules d'analyse et de filtrage des résultats a posteriori.
- Planification des requêtes dans le temps afin de détecter les nouveaux résultats.
- Exportation des résultats sous Excel ou en HTML pour interfacer un crawler externe.
- Diffusion en temps réel d'alertes par e-mail et par RSS.
Outre un équilibrage de charge paramétrable, Magellan permet de maintenir l'anonymat du veilleur en gérant de manière autonome une liste de serveurs proxy par lesquels les requêtes doivent transiter. Contrairement aux métamoteurs classiques (type Copernic), les connecteurs faisant l'interface avec les moteurs de recherche sont modulaires, de sorte qu'un développeur peut
lui-même implémenter de nouveaux pilotes pour mettre en veille ses propres sources (intranets internes, bases de données professionnelles, annuaires, autres moteurs Web...). Ces pilotes sont conçus de manière à simuler le comportement d'un internaute, afin de pouvoir mettre en veille des moteurs de recherche faisant appel à des technologies dynamiques (formulaires, liens javascript, authentification forte...).
Magellan Metasearch est entièrement multi-utilisateur, et possède un modèle de gestion des permissions permettant de limiter l'accès à ses différents composants et sources selon le profil de chaque utilisateur.
Enfin, cet outil a été conçu afin que chacun puisse personnaliser les différents aspects de son fonctionnement et lui ajouter des fonctionnalités : interface, modules d'authentification et d'habilitation, filtres d'analyse, base de données sous-jacente, et pilotes de sources peuvent être réécrits à loisir sans perdre la compatibilité avec les autres composants.
http://sourceforge.net/projects/magellan2
Source : Motrech
Articles complémentaires :
Microsoft Bing utilise GPT-4 d’Open AI (depuis plusieurs semaines)
Goossips SEO : googlebot, source originale
