Percol0 - un système multimodal de détection de personnes dans des documents vidéo (Percol0 - A multimodal person detection system in video documents) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 553–560, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP Percol0 - un système multimodal de détection de personnes dans des documents vidéo Frederic Bechet1 Remi Auguste2 Stephane Ayache1 Delphine Charlet3 Geraldine Damnati3 Benoit Favre1 Corinne Fredouille4 Christophe Levy4 Georges Linares4 Jean Martinet2 (1) Aix Marseille Université - LIF (2) Universite de Lille, LIFL (3) France Telecom Orange Labs (4) Universite d’Avignon, LIA {frederic.bechet,stephane.ayache,benoit.favre}@lif.univ-mrs.fr, {remi.auguste,jean.martinet}@lifl.fr , {delphine.charlet,geraldine.damnati}@orange.com, {corinne.fredouille,christophe.levy,georges.linares}@univ-avignon.fr RÉSUMÉ Identifier et nommer à chaque instant d’une vidéo l’ensemble des personnes présentes à l’image ou s’exprimant dans la bande son fait parti de ces nouveaux outils de fouille de données. D’un point de vue scientifique la reconnaissance de personnes dans des documents audiovisuels est un problème difficile à cause des différentes ambiguïtés que présentent l’audio, la vidéo et leur association. Nous présentons dans cette étude le système PERCOL0, développé dans le cadre du défi REPERE, permettant de détecter la présence de personnes (audible et/ou visuelle) dans des documents vidéo, sans utiliser de modèles de locuteurs a priori. ABSTRACT Percol0 - A multimodal person detection system in video documents The goal of the PERCOL project is to participate to the REPERE multimodal evaluation program by building a consortium combining different scientific fields (audio, text and video) in order to perform person recognition in video documents. The two main scientific challenges we are addressing are firstly multimodal fusion algorithms for automatic person recognition in video broadcast ; and secondly the improvement of information extraction from speech and images thanks to a combine decoding using both modalities to reduce decoding ambiguities. MOTS-CLÉS : Reconnaissance Automatique de la Parole, Segmentation en locuteurs, reconnais- sance de l’écriture, détection de visages. KEYWORDS: Automatic speech reconnaissance, speaker diarization, Optic Character Recognition, Face Detection. 1 Introduction L’étude présentée dans ce papier s’incrit dans le cadre du projet PERCOL 1 visant à proposer des outils novateurs d’identification de personnes dans des vidéos intégrant les flux images et 1. Projet PERCOL ANR 2010-CORD-102-01 553 sons au sein d’une approche globale. L’analyse des différentes sources d’informations disponibles dans un contenu audiovisuel permet de reconnaître des personnes dont on dispose d’un modèle de voix et/ou visage préalable mais permet également d’identifier sans modèle préalable des personnalités dont l’information de l’identité se trouve dans la parole prononcée (la personne est nommée par son interlocuteur ou par le présentateur) ou dans le texte en incrustation (un bandeau contenant le nom de la personne apparaît en même temps que la personne). La difficulté manuelle (du point de vue applicatif et maintenance) de créer des dictionnaires, de les mettre à jour au fil du temps et d’y incorporer des nouvelles personnalités qui apparaissent dans l’actualité rendent l’approche de l’identification de la personne sans modèle proposée particulièrement attrayante. De plus, cette approche permet idéalement la création ou la mise à jour automatique de modèles de voix et de visage, pour permettre d’améliorer les taux de reconnaissance. Nous présentons dans cette étude le système PERCOL0, développé …

Content truncated to 500 words