Résumé

Nous proposons un modèle d’ordonnancement de données relationnelles pour ap- prendre automatiquement à annoter des images dans les sites permettant le partage social d’images. Ce modèle apprend à associer une liste ordonnée d’étiquettes à une image en consi- dérant simultanément l’information de contenu (texte/image) et les informations relationnelles entre les images. Il est capable d’utiliser aussi bien des informations relationnelles implicites comme les similarités visuelles ou les informations relationnelles explicites comme l’amitié entre deux utilisateurs, où le fait que deux images possèdent le même auteur. Il peut être utilisé aussi bien pour l’annotation d’images non-annotées ou pour aider un utilisateur à annoter ses propres images. Le modèle lui-même est basé sur un algorithme transductif qui apprend à la fois à partir des images déjà annotées et des images à annoter. Les expériences menées sur un corpus réel extrait de Flickr montrent l’efficacité de ce modèle, particulièrement quand celui-ci utilise des informations extraites du réseau social sous-jacent aux images.

Abstract

We propose a relational ranking model for learning to tag images in social media sharing systems. This model learns to associate a ranked list of tags to unlabeled images, by considering simultaneously content information (visual or textual) and relational information among the images. It is able to handle implicit relations like content similarities, and explicit ones like friendship or authorship. It can be used either for fully automatic image labeling or for helping the user with a ranked list of candidate tags. The model itself is based on a transductive algorithm thats learns from both labeled and unlabeled data. Experiments on a real corpus extracted from Flickr show the effectiveness of this model, particularly when using authorship and friendship relations.