Résumé

L’évaluation des systèmes de Recherche d’Information est depuis le début un des piliers de l’évolution de ce domaine. La qualité de l’évaluation est d’une importance capitale puisqu’elle permet de discriminer les différents modèles entre eux. Il est donc primordial de pouvoir constituer des corpus où les questions et leurs jugements de pertinence associés sont de qualité. Alors qu’avec des documents plats les méthodes sont bien établies, ce n’est plus le cas avec des documents structurés de type XML. Il est donc nécessaire de développer de nou- velles façons d’évaluer. Nous présentons dans cet article l’interface utilisée lors de la campagne INEX 2003 qui permet d’évaluer de façon la plus consistante et la plus exhaustive possible les documents XML.

Abstract

The evaluation of information retrieval systems is an important topic in information retrieval research. Evaluation must be accurately performed to rightly discriminate between retrieval approaches. To compare retrieval approaches, we require test collections, which con- sist of documents, queries and relevance assessments, the latter stating which documents are relevant to which queries. Obtaining consistent and exhaustive relevance assessment is crucial for the appropriate comparison of retrieval approaches. Whereas the evaluation methodology for retrieval approaches for flat text is well established, the evaluation of structured document retrieval approaches, such as those based on XML, is a research issue. In fact, new evaluation methodologies need to be developed for this purpose. In this paper, we concentrate on one aspect of the evaluation, that of the development of an interface to allow for the consistent and exhaus- tive assessment of XML documents. The interface was used at INEX, the evaluation initiative for XML retrieval.