Comparison of scheduling methods for the learning rate of neural network language models (Modèles de langue neuronaux: une comparaison de plusieurs stratégies d’apprentissage) [in French]

[O-T.1] 256 21ème Traitement Automatique des Langues Naturelles, Marseille, 2014 Modèles de langue neuronaux: une comparaison de plusieurs stratégies d’apprentissage Quoc-Khanh Do1, 2 Alexandre Allauzen1, 2 François Yvon1 (1) LIMSI/CNRS, rue John von Neumann, Campus Universitaire Orsay 91 403 Orsay (2) Université Paris Sud, 91 403 Orsay prenom.nom@limsi.fr Résumé. Alors que l’importance des modèles neuronaux dans le domaine du traitement automatique des langues ne cesse de croître, les difficultés de leur apprentissage continue de freiner leur diffusion au sein de la communauté. Cet article étudie plusieurs stratégies, dont deux sont originales, pour estimer des modèles de langue neuronaux, en se foca- lisant sur l’ajustement du pas d’apprentissage. Les résultats expérimentaux montrent, d’une part, l’importance que revêt la conception de cette stratégie. D’autre part, le choix d’une stratégie appropriée permet d’apprendre efficacement des modèles de langue donnant lieu à des résultats à l’état de l’art en traduction automatique, avec un temps de calcul réduit et une faible influence des hyper-paramètres. Abstract. If neural networks play an increasingly important role in natural language processing, training issues still hinder their dissemination in the community. This paper studies different learning strategies for neural language models (including two new strategies), focusing on the adaptation of the learning rate. Experimental results show the impact of the design of such strategy. Moreover, provided the choice of an appropriate training regime, it is possible to efficiently learn language models that achieves state of the art results in machine translation with a lower training time and a reduced impact of hyper-parameters. Mots-clés : Réseaux de neurones, modèles de langue n-gramme, traduction automatique statistique. Keywords: Neural networks, n-gram language models, statistical machine translation. 1 Introduction Après quelques années de relatif désintérêt, les réseaux de neurones artificiels ont retrouvé une place centrale dans le paysage de l’apprentissage automatique et ont récemment permis des avancées significatives pour de nombreux domaines applicatifs. Pour ce qui concerne le traitement automatique des langues (TAL), les applications sont également nombreuses et variées. Historiquement, les modèles de langue neuronaux ont été une des premières réalisations marquantes, avec des applications en reconnaissance automatique de la parole (RAP), depuis les travaux pionniers de (Nakamura et al., 1990) jusqu’aux développements ultérieurs de (Bengio et al., 2003; Schwenk, 2007; Mnih & Hinton, 2007; Le et al., 2011; Mikolov et al., 2011). Les modèles neuronaux ont été également appliqués à d’autres tâches complexes de modélisation, comme par exemple l’analyse syntaxique (Socher et al., 2013), l’estimation de similarité sémantique (Huang et al., 2012), les modèles d’alignement de mots (Yang et al., 2013) ou encore en traduction automatique statistique (TAS) (Le et al., 2012a; Kalchbrenner & Blunsom, 2013). Les modèles de langue continue de jouer un rôle prépondérant dans de nombreuses applications du TAL, depuis la re- connaissance vocale jusqu’à la correction d’orthographe ou encore la traduction automatique. Les approches usuelles reposent sur des modèles n-grammes discrets, estimés avec des méthodes de lissage (Chen & Goodman, 1998). Pour ces modèles, l’occurrence d’un mot dans son contexte est considérée comme la réalisation d’une variable aléatoire …

Content truncated to 500 words