Résumé

Les documents multimédia composés de texte et d’images sont de plus en plus présents grâce à Internet et à l’augmentation des capacités de stockage. Cet article présente un modèle de représentation de documents multimédia qui combine l’information textuelle et l’information visuelle. En utilisant une approche par sac de mot, un document composé de texte et d’image peut être décrit par des vecteurs correspondant à chaque type d’information. Pour une requête multimédia donnée, une liste de documents pertinents est retournée en combinant linéairement les résultats obtenus séparément sur chaque modalité. Le but de cet article est d’étudier l’im- pact, sur les résultats, du poids attribué à l’information visuelle par rapport à l’information textuelle. Des expérimentations, réalisées sur la collection multimédia ImageCLEF extraite de l’encyclopédie Wikipedia, montrent que les résultats peuvent être améliorés après une première étape d’apprentissage de ce poids.

Abstract

Multimedia documents are increasingly used which involve to develop model to that kind of data. In this paper we present a multimedia model which combines textual and visual information. Using a bag of words approach, we can represent a textual and visual document with a vector for each modality. Given a multimedia query, our model lets us linearly combine scores obtained for each modality and return a list of relevant retrieved documents. This article aims at studying the influence of the weight given to the visual information according to the textual one. Experiments on the multimedia ImageCLEF collection extracted from Wikipedia show that results can be improved by learning this weight parameter.