Prédiction structurée pour l’analyse syntaxique en constituants par transitions : modèles denses et modèles creux [Structured Prediction for Transition-based Constituent Parsing: Dense and Sparse Models]

Prédiction structurée pour l’analyse syntaxique en constituants par transitions : modèles denses et modèles creux Maximin Coavoux* — Benoît Crabbé*,** * Univ. Paris Diderot, Sorbonne Paris Cité Alpage (Inria) Bât. Olympe de Gouges, 8 Place Paul Ricoeur, 75013 Paris ** Institut universitaire de France maximin.coavoux@inria.fr, bcrabbe@linguist.univ-paris-diderot.fr RÉSUMÉ. L’article présente une méthode d’analyse syntaxique en constituants par transitions qui se fonde sur une méthode de pondération des analyses par apprentissage profond. Celle-ci est comparée à une méthode de pondération par perceptron structuré, vue comme plus clas- sique. Nous introduisons tout d’abord un analyseur syntaxique pondéré par un réseau de neu- rones local et glouton qui s’appuie sur des plongements. Ensuite nous présentons son extension vers un modèle global et à recherche par faisceau. La comparaison avec un modèle d’ana- lyse de la famille perceptron global et en faisceau permet de mettre en évidence les propriétés étonnamment bonnes du modèle neuronal à recherche gloutonne. ABSTRACT. The article introduces a transition-based constituent parsing method relying on a deep-learning weighting scheme. This weighting method is compared to a structured percep- tron, which is a more traditional method. First of all, we introduce a syntactic parser weighted by a local greedy neural network based on symbol embeddings. Then, we extend this model to a global beam-search based model. Our experiments highlight the surprisingly good properties of the greedy local neural parser. MOTS-CLÉS : analyse syntaxique en constituants, réseau de neurones artificiels, plongements lexicaux, apprentissage structuré. KEYWORDS: constituent parsing, neural networks, word embeddings, structured learning. TAL. Volume 57 – n◦ 1/2016, pages 59 à 83 60 TAL. Volume 57 – n◦ 1/2016 1. Introduction Cet article présente une méthode d’analyse syntaxique en constituants par transi- tions dont la composante de pondération se fonde sur un codage par vecteurs denses des symboles discrets. En traitement automatique des langues, l’utilisation de plon- gements lexicaux pour représenter les symboles a été popularisée par Collobert et Weston (2008) et Mikolov et al. (2013). Si la représentation des mots par des plon- gements offre la perspective d’une meilleure généralisation pour les modèles statis- tiques, diverses expériences montrent que l’intégration naïve de plongements acquis sur de grandes masses de données dans des systèmes d’analyse syntaxique existants n’apporte que peu ou pas d’améliorations immédiates (Andreas et Klein, 2014) . On présente une autre perspective sur le problème observé par Andreas et Klein (2014) en mettant en évidence qu’il est fondamental pour un analyseur lexicalisé d’ex- primer les interactions, au sens statistique, entre les plongements. On met en évidence l’importance des interactions en introduisant plusieurs modèles d’analyse syntaxique de complexité croissante pour le cas de la prédiction structurée. Ceux-ci sont formulés dans le paradigme « apprentissage profond » et sont comparés aux modèles d’appren- tissage à représentations creuses utilisés traditionnellement depuis Collins (2002) et Lafferty et al. (2001). Ainsi, après un bref rappel du contexte scientifique (section 2), on présente le sys- tème d’analyse par transitions et de pondération en section 3. La section 4 introduit une première famille de modèles d’apprentissage locaux pour …

Content truncated to 500 words