Résumé

L’évaluation d’un système de recherche d’information (RI) personnalisé consiste prin- cipalement à mesurer ses performances. Les cadres d’évaluation classiques en RI basés sur les approches orientées laboratoire méritent d’être étendues et révisées vu que le contexte de recherche de l’utilisateur n’est pas considéré dans le protocole d’évaluation et les col- lections de test. Nous présentons dans ce papier des cadres d’évaluation adaptés à un sys- tème de RI personnalisé. Ces cadres sont basés sur l’enrichissement des collections TREC par des contextes/profi ls utilisateur simulés. Plus précisément, un protocole issu de TREC adhoc consiste à construire des profi ls utilisateur à partir des sessions de recherche simulées par les domaines d’intérêts prédéfi nis dans TREC adhoc. Le protocole issu de TREC H ARD consiste à construire le profi l à partir des sessions de recherche simulées par les sujets des requêtes de la collection. Les résultats obtenus confi rment la stabilité de la performance de notre modèle de RI personnalisé selon les cadres proposés sur des collections de test différentes.

Abstract

The evaluation of a personalized search systems aims at measuring its performance. Traditional laboratory-based evaluation of the information retrieval systems is challenged be- cause of its lack of user evidence expressing his search context in the data test sets. In this paper, we present evaluation protocols of personalized search system based on enhancing TREC col- lections with simulated contexts/user profi les. An evaluation protocol based on TREC adhoc consists of building the user profi le across simulated search sessions designed by the TREC do- mains. Another evaluation protocol based on TREC-H ARD consists of building the user profi le across simulated search defi ned by the topics of the collection. Experimental results show the stability performance of our personalized search system according to the proposed evaluation protocols using different test collections.