Résumé

Dans cet article, nous décrivons une méthode pour utiliser un modèle de langue sur des graphes pour la recherche et la catégorisation d’images. Nous utilisons des régions d’images (associées automatiquement à des concepts visuels), ainsi que des relations spatiales entre ces régions, lors de la construction de la représentation sous forme de graphe des images. Notre méthode gère différents scénarios, selon que des images isolées ou groupées soient utilisés comme base d’apprentissage ou de tests. Les résultats obtenus sur un problème de catégorisa- tion d’images montre (a) que la procédure automatique qui associe les concepts à une image est efficace, et (b) que l’utilisation des relations spatiales, en plus des concepts, permet d’améliorer la qualité de la classification. Cette approche présente donc une extension du modèle de langue classique en recherche d’information pour traiter le problème de recherche et de catégorisation d’images représentées par des graphes sans se préoccuper des annotations d’images.

Abstract

We describe here a method to use a graph language modeling approach for image retrieval and image categorization. Since photographic images are 2D data, we first use im- age regions (mapped to automatically induced concepts) and then spatial relationships between these regions to build a complete image graph representation. Our method deals with differ- ent scenarios, where isolated images or groups of images are used for training or testing. The results obtained on an image categorization problem show (a) that the procedure to automati- cally induce concepts from an image is effective, and (b) that the use of spatial relationships, in addition to concepts, for representing an image content helps improve the classifier accuracy. This approach extends the language modeling approach to information retrieval to the problem of graph-based image retrieval and categorization, without considering image annotations.