Résumé

Cet article présente une évaluation séquentielle du système de questions-réponses modulaire et stochastique SQuALIA. L’évaluation se fonde sur un corpus de question semi- spontanées obtenu en faisant poser 20 questions de référence à des adultes francophones, non francophones ou dyslexiques. Les expériences montrent que ce sont les fautes d’orthographe qui ont le plus d’impact sur les modules d’analyse. En moyenne le système parvient à ne trouver des réponses qu’à 60% des questions posées, ce qui conduit à imaginer l’intégration d’un correc- teur orthographique en amont des systèmes, plus de souplesse dans l’analyse, et la conservation de l’incertitude tout au long du processus en le formalisant à l’aide d’un modèle probabiliste.

Abstract

This paper introduces the sequential evaluation of SQuALIA question answering sys- tem, a stochastic and modular question answering system. The evaluation is based on a half- spontaneously asked questions corpus. This corpus has been constructed by making french native, non native or dyslexic spellers type 20 reference questions. The results show that ortho- graphic mistakes are the most harmful. The average good answering rate is 60% over all users. This low performance leads to new proposal such as integrating a spell checker before pro- cessing questions, propose several answer types to questions with an uncertainty degree, and keeping this uncertainty during the process, which can be defined in a probabilistic framework.