ARIA

Association Francophone de Recherche d’Information (RI) et Applications

Actes de CORIA 2015
PDF

Auteurs

Vincent Claveau, Ewa Kijak

Résumé

Les thésaurus distributionnels sont utiles à de nombreuses tâches du Traitement Auto- matique des Langues. Dans cet article, nous abordons les problèmes de leur construction et de leur évaluation sous l’angle de la recherche d’information. Deux contributions sont proposées. D’une part, en poursuite des travaux initiés par (Claveau et al., 2014), nous montrons com- ment les techniques de RI peuvent être utilisées avec succès pour construire ces thésaurus. Au moyen d’une évaluation directe par comparaison avec des lexiques de référence et au travers de plusieurs expérimentations, nous montrons que les résultats obtenus par certains modèles de RI dépassent les performances des systèmes état-de-l’art. D’autre part, nous utilisons la RI comme cadre applicatif pour proposer une évaluation indirecte des thésaurus produits. Là encore, cette évaluation valide l’approche. Mais surtout, elle permet de mettre en regard les performances obtenues sur cette tâche avec celles des évaluations directes utilisées dans la littérature. Les différences constatées remettent en cause en partie ces pratiques d’évaluation.

Abstract

Distributional thesauri are useful in many tasks of Natural Language Processing. In this paper, we address the problem of building and evaluating such thesauri with the help of Information Retrieval concepts. Two main contributions are proposed. First, in the continua- tion of the work of (Claveau et al., 2014), we show how IR tools and concepts can be used with success to build thesaurus. Through several experiments and by evaluating directly the results with reference lexicons, we show that some IR models outperform state-of-the-art systems. Sec- ondly, we use IR as an applicative framework to indirectly evaluate the generated thesaurus. Here again, this task-based evaluation validate the IR approach used to build the thesaurus. Moreover, it allows us to compare these results with those from the direct evaluation framework used in the literature. The observed differences question these evaluation habits.

Posts Récents

Catégories

A Propos

ARIA (Association Francophone de Recherche d’Information (RI) et Applications) est une société savante, association loi 1901, ayant pour but de promouvoir le savoir et les connaissances du domaine de la Recherche d’Information (RI) et des divers domaines scientifiques en jeu dans la conception, la réalisation et l’évaluation des systèmes de Recherche d’Information.