Résumé

Le franchissement du fossé sémantique entre les descriptions au niveau signal et au niveau sémantique est le principal problème à résoudre pour l’indexation multimédia. Les ap- proches les plus avancées prennent en compte plusieurs types de descripteurs, plusieurs moda- lités et/ou le contexte pour améliorer la détection des concepts. Afin de maîtriser la complexité liée à l’intégration de données et de traitement hétérogènes que cela suppose, nous proposons une approche à base d’opérateurs organisés en réseaux flots de données. Un type unique de don- nées, les numcepts, et un type unique d’unités de traitements, les opérateurs, sont utilisés à tous les niveaux dans ces réseaux. Cette approche offre une grande flexibilité pour la conception des systèmes d’indexation et elle facilite les expérimentations sur les architectures correspondantes. Nous décrivons une instance de ce modèle et plusieurs numcepts et opérateurs. L’approche a été testée sur les corpus TRECVID 2004 et 2005. Nous avons implémenté 7 réseaux et étudié l’influence de variations sur la précision moyenne des concepts détectés.

Abstract

Bridging the semantic gap between signal level and semantic level descriptions is the main problem to solve for multimedia indexing. The most advanced approaches take into ac- count several descriptor types, several modalities and/or the context to enhance concept detec- tion. For mastering the complexity linked to the integration of the heterogeneous data and pro- cesses that this requires, we propose an approach based on operators organized into dataflow networks. A unique type of data, the numcepts, and a unique type of processing unit, the op- erators, are used at all levels in these networks. This approach offers a great flexibility for the design of indexing systems and it eases the experiments with the corresponding architectures. We describe an instance of this model and several numcepts and operators. We have tested the approach on TRECVID 2004 and 2005 corpora. We have implemented 7 of operators and studied the influence of variations on the accuracy of concept detection