Résumé

Ce papier vise à proposer une nouvelle métrique pour évaluer les résumés. La plupart de méthodes existantes (e.g. ROUGE) nécessitent une intervention humaine importante car elles comparent le résumé considéré avec un ensemble des résumés de référence (gold standard). De plus, les métriques basées sur le chevauchement de vocabulaires ne sont pas appropriées pour la comparaison avec le texte intégral. La métrique proposée intitulée GRAD vise à dépasser les défauts des mesures existantes et s’appuie sur la représentation graphique du texte. L’hypothèse est qu’un bon résumé doit être composé de sommets qui sont connectés avec un maximum d’autres sommets. En outre, nous introduisons un cadre entièrement automatique pour évaluer les métriques qui n’exige aucune annotation humaine. Les expérimentations conduites sur une collection d’articles scientifiques disponibles sur la plate-forme ISTEX ainsi que sur des articles Wikipédia prouvent que la métrique proposée est meilleure de façon significative comparativement aux mesures existantes pour distinguer les résumés automatiques et ceux créés par les humains.

Abstract

Automatic summary evaluation is an important but not solved problem. Manual assessment is expensive and subjective and it is not applicable in real time or on a large corpus. Commonly used metrics for summary evaluation still involve substantial human efforts since they assume comparison with a set of reference summaries. Existing metrics based on vocabulary overlap are not suitable for assessment grounded on comparison with a full text. We tried to overcome their drawbacks by proposing a metric based on graph representation of a text. Moreover, we introduce a completely automatic framework for evaluation of metrics that does not require any human annotation. We conducted experiments on Wikipedia data set and a collection of scientific articles. Our approach significantly outperforms strong baselines on both test collections in distinguishing human abstracts from the extractive summaries.