Modélisation de dépendances entre étiquettes dans les réseaux neuronaux récurrents [Tag dependency modeling in recurrent neural networks]

Modélisation de dépendances entre étiquettes dans les réseaux neuronaux récurrents Marco Dinarelli*, Yoann Dupont* ** * Lattice (UMR 8094), CNRS, ENS Paris, Université Sorbonne Nouvelle - Paris 3 PSL Research University, USPC (Université Sorbonne Paris Cité) 1 rue Maurice Arnoux, 92120 Montrouge, France ** Expert System France, 207 rue de Bercy, 75012 Paris marco.dinarelli@ens.fr, yoa.dupont@gmail.com RÉSUMÉ. Les réseaux neuronaux récurrents (RNN) se sont montrés très efficaces dans plusieurs tâches de traitement automatique des langues. Cependant, leur capacité à modéliser l’étiquetage de séquences reste limitée. Cette limitation a conduit la recherche vers la combinaison des RNN avec des modèles déjà utilisés avec succès dans ce contexte, comme les CRF. Dans cet article, nous étudions une solution plus simple mais tout aussi efficace : une évolution du RNN de Jordan dans lequel les étiquettes prédites sont réinjectées comme entrées dans le réseau et converties en plongements, de la même façon que les mots. Nous comparons cette variante de RNN avec tous les autres modèles existants : Elman, Jordan, LSTM et GRU, sur deux tâches de compréhension de la parole. Les résultats montrent que la nouvelle variante, plus complexe que les modèles d’Elman et Jordan, mais bien moins que LSTM et GRU, est non seulement plus efficace qu’eux, mais qu’elle fait aussi jeu égal avec des modèles CRF plus sophistiqués. ABSTRACT. Recurrent Neural Networks have proved effective on several NLP tasks. Despite such great success, their ability to model sequence labeling is still limited. This lead research toward solutions where RNNs are combined with models successfully employed in this context, like CRFs. In this work we propose a simpler solution: an evolution of the Jordan RNN, where labels are reinjected as input into the network and converted into embeddings, the same way as words. We compare this variant to all the other RNN models, Elman, Jordan, LSTM and GRU, on two tasks of Spoken Language Understanding. Results show that the new variant, which is more complex than Elman and Jordan RNNs, but far less than LSTM and GRU, is more effective than other RNNs and outperforms sophisticated CRF models. MOTS-CLÉS : RNN, modélisation de séquences, compréhension automatique de la parole. KEYWORDS: RNNs, sequence modelling, spoken language understanding. TAL. Volume 58 – n° 1/2017, pages 13 à 37 14 TAL. Volume 58 – n° 1/2017 1. Introduction Dans les dernières années les réseaux neuronaux récurrents (RNN) (Jordan, 1989 ; Elman, 1990 ; Hochreiter et Schmidhuber, 1997) se sont montrés très efficaces dans plusieurs tâches de traitement automatique des langues (TAL) comme l’étiquetage des parties du discours, la segmentation, la reconnaissance des entités nommées, la com- préhension automatique de la parole, la traduction automatique statistique et d’autres encore (Mikolov et al., 2010 ; Mikolov et al., 2011 ; Collobert et Weston, 2008 ; Col- lobert et al., 2011 ; Yao et al., 2013 ; Mesnil et al., 2013 ; Vukotic et al., 2015). L’ef- ficacité de ces modèles vient de leur architecture récurrente, qui permet de garder une mémoire de l’information traitée dans le passé …

Content truncated to 500 words