Mapping de l’espace spectral vers l’espace visuel de la parole : les voyelles du français en langue française parlée complétée (Mapping of the spectral space to the visual speech space for French vowels cued in Cued Speech) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 73–80, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP Mapping de l’espace spectral vers l’espace visuel de la parole: Les voyelles du Français en Langue Française Parlée Complétée Zuheng Ming1, Gang Feng1, Denis Beautemps1 (1) Gipsa-lab, 11 rue des Mathématiques, Grenoble Campus, BP 46, F - 38402 SAINT MARTIN D'HERES Cedex Denis.Beautemps@grenoble-inp.fr RESUME ___________________________________________________________________________________________________________________ Cet article présente les résultats de l’approche statistique GMM pour le mapping des paramètres spectraux du signal acoustique de la parole vers les paramètres visuels de la Langue Parlée Complétée (LPC) au sens des moindres carrés, à un bas niveau d’interfaçage ce qui est innovant par rapport à l’approche classique texte-parole visuelle. A toute fin d’évaluation de l’approche GMM, nous présentons aussi les résultats de l’approche de modélisation multi-linéaire. Les résultats montrent que la méthode GMM améliore très significativement le mapping, tout particulièrement dans le cas de faible niveau de corrélation entre certains paramètres cibles comme ceux du LPC et les prédicteurs constitués des paramètres spectraux du signal acoustique de parole. ABSTRACT ________________________________________________________________________________________________________________ Mapping of the spectral space to the visual speech space for French vowels cued in Cued Speech In this paper, we present a statistical method based on GMM modeling to map the acoustic speech spectral features to visual features of Cued Speech in the sense of least square error in a low signal level which is innovative and different with the classic text-to- visual approach. In comparison with the GMM based mapping modeling we first present the results with the use of a multi-linear model also at the low signal level and study the limitation of the approach. The experimental results demonstrate that the GMM based mapping method can significant improve the mapping performance compared with the multi-linear based mapping model especial in the sense of the weak linear correlation between the target and the predictor such as the hand positions of Cued Speech and the acoustic speech spectral features. MOTS-CLES : LPC, LSP, MFCC, PARAMETRES LABIAUX, CONVERSION, MODELE LINEAIRE, GMMS. KEYWORDS : Cued Speech, LSP, MFCC, Lips, Linear modeling, GMMs. 1 Introduction Le cadre de cet article est la communication parlée chez les personnes sourdes. En France, cinq à six millions de personnes sont atteintes de surdité. Le recours à la lecture labiale est dans ce cas primordial pour la perception de la parole. Or l’information fournie par la forme des lèvres est ambigüe au sens où plusieurs sons de paroles peuvent avoir 73 des formes aux lèvres similaires ([p], [b], [m] par exemple) ce qui de ce fait rend difficile la perception complète de la parole sans information complémentaire (auditive, sémantique,…). Avec des conséquences pour le développement du langage chez l’enfant. La méthode du Cued Speech (Cornett, 1967) a été introduite pour combler ce manque. C’est un code manuel conçu pour désambiguïser la lecture labiale. Le locuteur, tandis qu’il parle, utilise une de ses mains pour pointer des positions particulières sur le visage, le côté du visage …

Content truncated to 500 words