Vers une inversion acoustico-articulatoire d’un locuteur étranger (Toward an acoustic to articulatory inversion of a foreign speaker) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 169–176, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP Vers une inversion acoustico-articulatoire d’un locuteur étranger Hélène Lachambre, Régine André-Obrecht IRIT - Université de Toulouse, 118 route de Narbonne, 31062 Toulouse Cedex 9 lachambre@irit.fr, obrecht@irit.fr RÉSUMÉ Nous présentons une extension de notre méthode d’inversion acoustico-articulatoire basée sur des Modèles de Markov Cachés non supervisés. La génération des vecteurs articulatoires est inspirée par l’approche “GMM”. Dans le cadre de l’aide à l’apprentissage des langues étrangères, nous étudions le comportement de cette approche dans le cas de données (phonèmes) manquants. ABSTRACT Toward an acoustic to articulatory inversion of a foreign speaker We present an extension of our acoustic-to-articulatory inversion method, based on unsupervised Hidden Markov Models. The articulatory vectors’ generation is based on the “GMM” approach. Considering the application of our method to the teaching of foreing languages, we study the performances of this approach in the case of missing data. MOTS-CLÉS : Inversion acoustico-articulatoire, HMM non supervisé, données manquantes. KEYWORDS: Acoustic-to-articulatory inversion, unsupervised HMM, missing data. 1 Introduction L’inversion acoustico-articulatoire consiste à déterminer la forme du conduit bucal à partir d’un enregistrement audio de parole. Il s’agit plus précisément de reconstruire la trajectoire de divers points situés sur la langue, les lèvres et la machoire (et éventuellement le palais) à partir du signal acoustique. Intéressante en tant que telle pour l’étude des processus de production de la parole, l’inversion acoustico-articulatoire a également des applications plus “grand public” : par exemple, la parole augmentée (pour l’aide à la compréhension des mal-entendants) ou encore l’aide à l’apprentissage des langues étrangères (montrer à un apprenant comment il a prononcé un son, et comment il devrait le prononcer). Deux principales approches sont utilisées dans la littérature, pour l’inversion acoustico- articulatoire : l’approche GMM (Toda et al., 2008; Ben Youssef et al., 2010) (Modèles de Mélanges de Gaussiennes) et l’approche HMM (Modèles de Markov Cachés) (Hiroya et Honda, 2004; Ben Youssef et al., 2009; Zhang et Renals, 2008; Zen et al., 2010). L’approche GMM consiste à modéliser la distribution conjointe des vecteurs acoustiques et articulatoires par un modèle GMM. L’inversion est considérée comme une recherche de données manquantes et est réalisée par mappage, selon divers critères : MMSE (Minimum Mean Square Error) (Toda et al., 2008) ou Maximum de vraisemblance (Toda et al., 2008; Ben Youssef et al., 2010). L’approche HMM 169 vise à prendre en compte le caractère temporel de la parole, et les conséquences en termes de contraintes tant au niveau acoustique qu’articulatoire. La partie acoustique est alors modélisée par un HMM. (Hiroya et Honda, 2004) propose une régression linéaire entre l’acoustique et l’articulatoire pour modéliser cette dernière. Dans (Ben Youssef et al., 2009; Zhang et Renals, 2008; Zen et al., 2010), la partie articulatoire est modélisée par un HMM appris conjointement à celui de l’acoustique. La phase d’inversion commence toujours par un décodage du signal audio par le HMM acoustique. La séquence d’états (phonèmes, biphones ou triphones) ainsi déterminée …

Content truncated to 500 words