Résumé

Les algorithmes d’apprentissage automatique, comme les réseaux de neurones (NN), ont permis d’atteindre des performances notables dans de nombreuses tâches liées au traite- ment automatique du langage (TAL). En TAL les contenus sont généralement représentés dans des espaces lexicaux ou thématiques. Les méthodes de traitement des contenus- y compris celles basées sur des NN- opèrent donc dans des espaces où les relations statistiques entre les élé- ments du document sont faiblement considérées. Nous proposons de remédier à cette faiblesse en étendant les réseaux de neurones aux quaternions (QMLP) pour permettre une modélisation des dépendances cachées entres les données. L’architecture proposée est évaluée lors d’une tache d’analyse de dialogue parlés. Les résultats montrent que l’association du QMLP et d’une représentation structurée permet d’obtenir un gain en précision de 2% et 3% comparativement aux MLPs et à (Morchid et al., 2013) respectivement. Nous montrons finalement que la vitesse de convergence du QMLP est sensiblement supérieure à celle du MLP.

Abstract

Machine Learning algorithms reach great performances on different Natural Lan- guage Processing tasks. Among these methods, Neural Networks (NN or MLP) recently re- ceived a great interest from researchers due to their capability to represent complex internal structures. However, MLPs employ basic word level or thème-based features and, therefore, reveal little in way of document statistical structure. We propose to address this issue by ex- tending the NN to Quaternion called QMLP to take into consideration features dependencies. A well-dedicated segmentation of document approach is also compared to the one proposed in (Morchid et al., 2013). Experiments made on a SLU task with spoken dialogues show that our QMLP associated with the proposed document segmentation outperforms other approaches, with an gain of 2% and 3% compared to MLP and (Morchid et al., 2013) respectively. We finally demonstrated that less iterations are needed by QMLPs to reach better accuracies than MLP.