Les méthodes « apprendre à chercher » en traitement automatique des langues : un état de l’art [A survey of learning-to-search techniques in Natural Language Processing]

Les méthodes « apprendre à chercher » en traitement automatique des langues : un état de l’art Elena Knyazeva — Guillaume Wisniewski — François Yvon LIMSI, CNRS, Univ. Paris-Sud, Université Paris-Saclay, Campus universitaire bât 508, Rue John von Neumann F - 91405 Orsay cedex { knyazeva,wisniews,yvon}@ limsi. fr RÉSUMÉ. L’apprentissage structuré est au fondement des méthodes modernes d’apprentissage automatique pour le traitement automatique des langues (TAL). Dans cet article, nous étudions une famille d’algorithmes d’apprentissage structuré, les algorithmes de la famille « apprendre à chercher », qui diffèrent fondamentalement des méthodes classiques telles que les champs markoviens aléatoires, et permettent donc de mettre en évidence certains des compromis de l’apprentissage structuré en TAL. Nous présentons également un panorama des applications de ces techniques en TAL, en discutant les bénéfices découlant de leur utilisation. ABSTRACT. Structured prediction lies at the heart of modern Natural language Processing (NLP). In this paper, we study a specific family of structured learning algorithms, loosely refered to as “Learning-to-search” algorithms. They differ in several important ways from more studied methods such as Conditional Random Fields, and their study highlights several important trade- offs of structured learning for NLP. We also present an overview of existing applications of these techniques to NLP problems and discuss their potential benefits. MOTS-CLÉS : traitement automatique des langues, apprentissage structuré, apprendre à chercher. KEYWORDS: Natural Language Processing, Structured learning, Learning to search. TAL. Volume 59 – n◦1/2018, pages 39 à 63 40 TAL. Volume 59 – n◦1/2018 1. Introduction L’utilisation de méthodes d’apprentissage supervisé est l’approche de référence en traitement automatique des langues (TAL), et permet d’obtenir les meilleures per- formances aussi bien sur des tâches intermédiaires d’analyse linguistique (étiquetage en parties du discours, analyse syntaxique, identification de relations de coréférence, détection d’entités nommées, etc.), que pour des tâches finalisées (traduction automa- tique, dialogue, extraction d’information, etc.). La mise en œuvre de ces méthodes repose sur la modélisation, sur un corpus d’ap- prentissage, de corrélations statistiques entre des descripteurs et une ou plusieurs va- riables d’intérêt, permettant ensuite le calcul (l’inférence) des valeurs de ces variables lorsqu’elles ne sont pas observées. Cette stratégie est rendue particulièrement difficile en TAL par (a) le besoin de modéliser des phénomènes à partir d’observations par- fois très éparses; (b) le caractère structuré des entités linguistiques (mots, phrases, documents), qui implique des dépendances souvent complexes, et potentiellement à longue distance, entre les variables que l’on doit prédire. Un exemple typique de (b) est l’accord grammatical entre un sujet et le verbe principal, qui contraint les deux termes à partager des traits communs (personne et nombre en français) indépendam- ment de leurs positions respectives dans une phrase, qui peuvent être arbitrairement éloignées. Prendre en compte ces dépendances demande d’employer des techniques d’apprentissage structuré (Bakir et al., 2007 ; Smith, 2011), qui sont donc les tech- niques de référence pour de nombreuses tâches : parsing stochastique, alignement de mots, détection de coréférence, extraction d’information, traduction automatique, etc. Toute méthode d’apprentissage structuré doit faire face aux questions (a) et …

Content truncated to 500 words