Analyse de la robustesse des algorithmes de méta-recherche discriminante.

Huyen-Trang Vu, Patrick Gallinari

COnférence en Recherche d'Informations et Applications - CORIA 2008, 5th French Information Retrieval Conference, Trégastel, France, March 12-14, 2008.


RÉSUMÉ. Cet article examine la sensibilité de quatre moteurs de méta-recherche à différents facteurs et contextes d'utilisation. L'accent de l'étude est mis sur les méta-moteurs capables d'apprendre à partir d'exemples. L'apport original de notre travail consiste en une explora- tion systématique sur des corpus de grande taille des performances et du comportement des méthodes d'apprentissage pour la méta-recherche. D'abord, nous nous intéressons au choix de la représentation des attributs (les scores renvoyés par les moteurs de base). Nous exami- nons ensuite la performance des méta-moteurs sur différents types de requêtes de test. Nous présentons des expériences montrant l'influence des propriétés et du nombre des données d'ap- prentissage sur la performance finale sur les données de test. Enfin, nous donnons des résultats préliminaires sur la possibilité de sélectionner des requêtes par apprentissage actif. Toutes ces expériences démontrent que l'apprentissage supervisé de fonctions d'ordonnancement est parti- culièrement efficace pour la méta-recherche et offre des performances uniformément meilleures que celles obtenues par les moteurs individuels et les heuristiques de combinaison. Ces mé- thodes sont de plus robustes à des facteurs comme le codage des résultats des moteurs de base et la variabilité de la base d'apprentissage.

ABSTRACT. This paper studies the sensitivity of four metasearch engines under different situa- tions. The focus of this analysis is on trainable metasearch engines. Our main contribution is a large scale systematic analysis of the performance and behavior of these methods on several corpora. Firstly, we analyze how the choice and normalization of the relevance score delivered by base search engines influence the performance of metasearch. We then study the effective- ness of the metasearch engines on individual queries. We also analyze the robustness of the metasearch engines with regard to the variability in the training and test corpora. We finally present a preliminary analysis of active learning for query selection. All of these experiments demonstrate that the learned search engines are quite effective since they are uniformly better than both heuristic metasearch techniques and indivual engines. They are also particularly robust to changes in the training data sets and to the encoding of base search engines scores.

MOTS-CLÉS : méta-recherche, BordaFuse, RankSVM, RankBoost, analyse de la robustesse.

KEYWORDS : metasearch, BordaFuse, RankSVM, RankBoost, robustness analysis.


fichier Fichier

Identifiant : doi:10.24348/coria.2008.87

Citation :

@inproceedings{coria/2008/87,
author = {Huyen-Trang Vu and Patrick Gallinari},
title = {Analyse de la robustesse des algorithmes de méta-recherche discriminante.},
booktitle = {COnférence en Recherche d'Informations et Applications - CORIA 2008, 5th French Information Retrieval Conference, Trégastel, France, March 12-14, 2008. Proceedings},
pages = {87-102},
year = {2008},
doi = {doi:10.24348/coria.2008.87}
}