REPERE : premiers résultats d’un défi autour de la reconnaissance multimodale des personnes (REPERE : preliminary results of a multimodal person recognition challenge) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 497–504, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP REPERE : premiers résultats d’un défi autour de la reconnaissance multimodale des personnes Juliette Kahn3 Aude Giraudel1 Matthieu Carré2 Olivier Galibert3 Ludovic Quintard3 (1) DGA, 7 rue des Mathurins, 92 221 BAGNEUX Cedex (2) ELDA, 57 Rue Brillat-Savarin 75013 Pariss (3) LNE, 29, avenue Roger Hennequin 78197 TRAPPES Cedex aude.giraudel@dga.defense.gouv.fr, nom@elda.org, prenom.nom@lne.fr RÉSUMÉ Le défi REPERE a pour objectif d’encourager les recherches et le développement de technologies dans le domaine de la reconnaissance des personnes par des indices multimodaux. Afin d’estimer la progression des solutions proposées, des campagnes annuelles d’évaluation autour de la reconnaissance multimodale des personnes sont organisées entre 2012 et 2014. Le corpus REPERE, un corpus [de 60h] de vidéos en français est développé à cette occasion. Quatre tâches correspondant aux quatre questions : Qui parle ? Qui voit-on ? De qui parle-t-on ? De qui le nom apparait à l’écran ? ont été définies et ce papier présente les premiers résultats obtenus lors du test à blanc de janvier 2012. ABSTRACT REPERE : preliminary results of a multimodal person recognition challenge The REPERE Challenge aims at supporting researches on people recognition in multimodal conditions. To estimate the technology progress, annual evaluation campaigns on multimodal recognition of people in videos will be organized from 2012 to 2014. In this context, the REPERE corpus, a French videos corpus with multimodal annotation has been developed. The systems which participated to the dry run have to answer the following questions : Who is speaking ? Who is present in the video ? What names are cited ? What names are displayed ? This paper describes the corpus used during the january 2012 dry run and presents the first results. MOTS-CLÉS : Corpus, Parole multimodale, Reconnaissance du locuteur, Campagne d’évaluation. KEYWORDS: Corpora, Mutimodal conditions, Speaker recognition, Evaluation. 497 1 Introduction Reconnaître une personne dans une vidéo est un défi qui connaît de nombreuses applications. Cette reconnaissance revient à extraire des informations pertinentes des deux flux visuel et acoustique et à les combiner afin de répondre à différentes questions comme qui parle à quel moment ou de qui parle-t-on. Quelques campagnes comme TRECVid (Smeaton et al., 2006) ou Biosecure Multimodal Evaluation Campaign (Ortega-Garcia et al., 2010) ont déjà abordé en partie la reconnaissance multimodale des personnes en se fondant sur des corpus anglophones. Le défi REPERE 1 a pour objectif d’encourager le développement de systèmes automatiques pour la reconnaissance de personnes en contexte multimoda en Français. Financé par l’Agence Nationale de la Recherche (ANR) et par la Direction Générale de l’Armement (DGA), ce projet a commencé en mars 2011 et se termine en mars 2014. Deux campagnes d’évaluation organisées par le LNE et ouvertes à toute la communauté, sont prévues aux débuts des années 2013 et 2014. Ce papier présente les premiers résultats obtenus lors du test à blanc mené en janvier 2012. Dans une première partie, nous définissons précisément …

Content truncated to 500 words