Résumé

Cet article considère la problématique de l’évaluation en Recherche d’Information, en particulier dans le cadre de TREC avec le programme trec_eval . Nous montrons que les systèmes de RI ne sont pas uniquement évalués en fonction de la pertinence des documents qu’ils restituent. En effet, dans le cas de documents ex aequo (trouvés avec le même score) leur nom est utilisé pour les départager. Nous assimilons cette façon de départager les ex aequo à un biais expérimental qui influence les scores attribués aux systèmes, et argumentons en faveur d’une stratégie pour les départager plus équitablement. L’étude de 22 éditions de TREC révèle une différence significative entre la stratégie conventionnelle et inéquitable de trec_eval et les stratégies équitables proposées. Ces résultats expérimentaux suggèrent l’intégration des stratégies proposées dans trec_eval afin d’encourager la réalisation d’expérimentations plus équitables.

Abstract

We consider Information Retrieval evaluation in the TREC framework with the trec_eval program. It appears that IR systems obtain scores regarding not only the relevance of retrieved documents, but also according to document names in case of ties, i.e., documents retrieved with a same score. We consider this tie-breaking strategy as an uncontrolled parame- ter influencing measure scores, and argue the case for fairer tie-breaking strategies. A study of 22 TREC editions reveals significant difference between the conventional unfair trec_eval strat- egy and the fairer strategies that we propose. This experimental result advocates integrating these fairer strategies into trec_eval for conducting fairer experiments.