Résumé

Des campagnes d’évaluations sont organisées chaque année pour évaluer des systèmes de questions-réponses sur la validité des résultats fournis. Pour les équipes, il s’agit ensuite de réussir à mesurer la pertinence des stratégies développées ainsi que le fonctionnement des com- posants. À ces fi ns, nous décrivons un outil générique d’évaluation de type boîte transparente qui permet à un système produisant des résultats intermédiaires d’évaluer ses résultats. Nous illustrerons cette démarche en testant l’impact d’une nouvelle défi nition de la notion de focus.

Abstract

Evaluation campaigns for question answering systems aim at evaluating their final results, i.e. the number of right answers. Then, in order to improve these systems, researchers try to evaluate each component, to improve them as well as to improve the global strategy. In order to help for these precise evaluations, we have conceived and developed a glass-box evalu- ation framework that works from the intermediary results provided by the different components. We will exemplify its capacities by showing how to measure a change in the determination of a question feature, the focus.