ARIA

Association Francophone de Recherche d’Information (RI) et Applications

Actes de CORIA 2008
PDF

Auteurs

Trong-Ton Pham, Jean-Pierre Chevallet, Joo-Hwee Lim

Résumé

Ce papier étudie la ‘sémantique latente’ entre des éléments visuels et textuels d’une collection multimédia, appliquée à deux tâches : (1) la Recherche de Document Multimédia (RDM) contenant des images et du texte ; et (2) l’Annotation Automatique d’Images (AAI). La sémantique latente, habituellement utilisée dans l’indexation textuelle, est mise à profit ici pour faire apparaître des liens entre les descriptions textuelles et visuelles des images. Nous avons ainsi deux contributions principales. Il s’agit d’une part, de la première étude sur l’influence de la sémantique latente entre termes textuels et visuels, sur une grande collection de documents. En effet, cette méthode est testée sur une collection de 20000 images touristiques. D’autre part, nous démontrons que la fusion des différents modalités d’image (i.e. termes visuels vs textuels, et différentes méthode de représentations d’image) améliore le résultat d’une annotation au- tomatique des images par du texte. Nos collections de test sont la base d’images annotées de COREL et la base d’ImageCLEF 2006.

Abstract

This paper studies Latent Semantic Analysis (LSA) between visual and textual el- ements of a multimedia collection, applied on two different tasks: (1) multimedia document retrieval (MDR) and (2) automatic image annotation (AIA). Latent semantics, usually used for text indexing, is applied to discover hidden semantic relations between visual and textual de- scriptors. The contributions of this paper are twofold. First, to the best of our knowledge, this work is the first study of the influence of LSA on the retrieval of a significant number of multimedia documents (i.e. collection of 20000 tourist images). Second, it shows how different image representations (region-based and keypoint-based) can be combined by LSA to improve automatic image annotation. The document collections used for these experiments are the Corel photo collection and ImageCLEF 2006 collection.

Posts Récents

Catégories

A Propos

ARIA (Association Francophone de Recherche d’Information (RI) et Applications) est une société savante, association loi 1901, ayant pour but de promouvoir le savoir et les connaissances du domaine de la Recherche d’Information (RI) et des divers domaines scientifiques en jeu dans la conception, la réalisation et l’évaluation des systèmes de Recherche d’Information.