Recherche par le contenu dans des documents audiovisuels multilingues.

Georges Quénot, Tien Ping Tan, Viet Bac Le, Stéphane Ayache, Laurent Besacier, Philippe Mulhem

COnférence en Recherche d'Informations et Applications - CORIA 2009, 6th French Information Retrieval Conference, Presqu'île de Giens, France, May 5-7, 2009.


RÉSUMÉ. Nous présentons dans cet article une approche basée sur l'utilisation de l'Alpha- bet Phonétique International (API) pour l'indexation et la recherche par le contenu de docu- ments audiovisuels multilingues. L'approche fonctionne même si les documents contiennent des langues inconnues. Elle a été validée dans le cadre de la compétition u Star Challenge » sur les moteurs de recherche organisée par l'Agence A*STAR de Singapour. Notre approche comprend la construction d'un modèle acoustique multilingue basé sur l'API et une méthode fondée sur la programmation dynamique pour la recherche de segments de documents par u détection de chaînes API ». La programmation dynamique permet de repérer la chaîne de la requête dans la chaîne du document, même avec un taux d'erreur de transcription au niveau phonétique signifi- catif. Les méthodes que nous avons développées nous ont classés premiers et troisièmes sur les tâches de recherche monolingues (anglais), cinquièmes sur la tâche de recherche multilingue et premiers sur la tâche de recherche multimodale (audio et image).

ABSTRACT. We present in this paper an approach based on the use of the International Phonetic Alphabet (IPA) for content-based indexing and retrieval of multilingual audiovisual documents. The approach works even if the languages of the document are unknown. It has been validated in the context of the "Star Challenge" search engine competition organized by the A*STAR Agency of Singapore. Our approach includes the building of an IPA-based multilingual acoustic model and a dynamic programming based method for searching document segments by "IPA string spotting". Dynamic programming allows for retrieving the query string in the document string even with a significant transcription error rate at the phone level. The methods that we developed ranked us as first and third on the monolingual (English) search task, as fifth on the multilingual search task and as first on the multimodal (audio and image) search task.

MOTS-CLÉS : Recherche audio, Multilingue, Alphabet Phonétique International, Programmation Dynamique, Star Challenge

KEYWORDS : Audio Retrieval, Multilingual, International Phonetic Alphabet, Dynamic Program- ming, Star Challenge


fichier Fichier

Identifiant : doi:10.24348/coria.2009.67

Citation :

@inproceedings{coria/2009/67,
author = {Georges Quénot and Tien Ping Tan and Viet Bac Le and Stéphane Ayache and Laurent Besacier and Philippe Mulhem},
title = {Recherche par le contenu dans des documents audiovisuels multilingues.},
booktitle = {COnférence en Recherche d'Informations et Applications - CORIA 2009, 6th French Information Retrieval Conference, Presqu'île de Giens, France, May 5-7, 2009. Proceedings},
pages = {67-82},
year = {2009},
doi = {doi:10.24348/coria.2009.67}
}