Apprentissage discriminant de modèles neuronaux pour la traduction automatique [Discriminative training of continuous space translation models]

Apprentissage discriminant de modèles neuronaux pour la traduction automatique Quoc-Khanh Do — Alexandre Allauzen — François Yvon LIMSI, CNRS, Univ. Paris-Sud, Université Paris-Saclay, Campus universitaire bât 508, Rue John von Neumann F - 91405 Orsay cedex { dokhanh,allauzen,yvon}@ limsi. fr RÉSUMÉ. Les méthodes utilisées pour entraîner des réseaux de neurones en traitement des langues reposent, pour la plupart, sur l’optimisation de critères qui sont décorrélés de l’ap- plication finale. Nous proposons un nouveau cadre d’apprentissage discriminant pour l’esti- mation des modèles neuronaux en traduction automatique. Ce cadre s’appuie sur la définition d’un critère d’apprentissage qui prend en compte, d’une part, la métrique utilisée pour l’éva- luation automatique de la traduction et, d’autre part, le processus d’intégration de ces modèles au sein des systèmes de traduction automatique. Cette méthode est comparée aux critères d’ap- prentissage usuels que sont le maximum de vraisemblance et l’estimation contrastive bruitée. Les expériences menées sur les tâches de traduction des séminaires TED Talks et de textes mé- dicaux, depuis l’anglais vers le français, montrent la pertinence d’un cadre d’apprentissage discriminant et l’importance d’une initialisation judicieuse, en particulier dans une perspective d’adaptation au domaine. ABSTRACT. This paper proposes a new discriminative framework to train continuous-space trans- lation models based. This framework relies on the definition of a new objective function that al- lows us to introduce the evaluation metric in the learning process as well as to consider how the model interacts with the rest of the translation system. This approach is compared with state- of-the-art estimation methods, such as the maximum likelihood training and noise contrastive estimation. Experiments are carried out on two English to French translation tasks using the TED Talks conference series as as well as medical texts. Experimental results show the effec- tiveness of the proposed approach, specifically in an adaptation scenario. We show that with a tailored initialization scheme, significant improvements can be obtained. MOTS-CLÉS : modèles neuronaux, traduction automatique statistique, apprentissage discrimi- nant. KEYWORDS: neural networks, statistical machine translation, discriminative training. TAL. Volume 57 – n◦1/2016, pages 111 à 135 112 TAL. Volume 57 – n◦1/2016 1. Introduction Les modèles neuronaux occupent aujourd’hui une place importante en traitement automatique des langues (TAL) car ils permettent de construire et de manipuler des représentations numériques continues des objets linguistiques, qui améliorent l’effi- cacité des modélisations statistiques et ont permis des avancées significatives pour de nombreux domaines applicatifs. Historiquement, les modèles de langue neuronaux ont été une des premières réalisations marquantes, avec des applications en recon- naissance automatique de la parole (RAP), depuis les travaux pionniers de Nakamura et al. (1990) jusqu’aux développements ultérieurs (Bengio et al., 2003 ; Schwenk, 2007 ; Mnih et Hinton, 2007 ; Le et al., 2011 ; Mikolov et al., 2011). Les modèles neuronaux ont été également appliqués à d’autres tâches complexes de modélisation linguistique, comme par exemple l’analyse syntaxique (Socher et al., 2013), l’esti- mation de similarité sémantique (Huang et al., 2012), les modèles d’alignement de mots (Yang et al., 2013) ou encore la traduction automatique statistique (TAS) …

Content truncated to 500 words