ARIA

Association Francophone de Recherche d’Information (RI) et Applications

Actes de CORIA-TALN 2018
PDF

Auteurs

Tamer Abdulghani, Mahmoud Al Najar, Rayhane Belaroussi, Josiane Mothe, Mikhail Ryzhov, Sarune Samoskaite

Résumé

L’évaluation en recherche d’information (RI) est fondamentale. Depuis les années 70, les chercheurs utilisent un cadre d’évaluation du type de celui proposé dans les projets Cranfield ou TREC pour calculer l’efficacité du système sur des collections de référence. Alors que les résultats numériques sont une pratique courante de comparaison de systèmes, nous pensons que les comparaisons visuelles pourraient aussi être utiles aux chercheurs. À cette fin, nous avons développé une interface qui permet aux scientifiques de RI de comparer l’efficacité de différents systèmes. Elle s’appuie sur les résultats de l’outil trec_eval. À ce stade, l’interface permet des analyses pour la recherche ad hoc. Cet article présente l’interface.

Abstract

Evaluation in information retrieval (IR) is crucial. Since the seventies, researchers use Cranfield or TREC-like framework to evaluate their systems and approaches resulting in system effectiveness calculated across reference collections. While numerical results are com- mon practice for system comparison, we think that visual comparisons could also be of help for researchers. To this end, we developed an interface that allows IR scientists to compare sys- tem effectiveness. It relies on results from the trec_eval tool. At this stage, the interface allows analyses for ad hoc retrieval. This paper presents the interface.

Posts Récents

Catégories

A Propos

ARIA (Association Francophone de Recherche d’Information (RI) et Applications) est une société savante, association loi 1901, ayant pour but de promouvoir le savoir et les connaissances du domaine de la Recherche d’Information (RI) et des divers domaines scientifiques en jeu dans la conception, la réalisation et l’évaluation des systèmes de Recherche d’Information.