Comprendre les effets des erreurs d’annotations des plateformes de TAL, une étude sur la résolution des anaphores pronominales [Understand the effects of erroneous annotations produced by NLP pipelines, a case study on the pronominal anaphora resolution]

Comprendre les effets des erreurs d’annotations des plates-formes de TAL Davy Weissenbacher* — Adeline Nazarenko** * COIN Laboratory, Toyota Technological Institute 2-12-1 Hisakata, Tempaku - Nagoya – 468-8511 JAPAN Davy.Weissenbacher@toyota-ti.ac.jp ** LIPN-Université Paris-Nord 99 av. J-B. Clément – 93430 Villetaneuse FRANCE nazarenko@lipn.univ-paris13.fr RÉSUMÉ. Les résultats des analyses des outils de TAL sont souvent des annotations qui carac- térisent les séquences des textes analysés. Ces annotations sont dites erronées lorsque leurs valeurs diffèrent des valeurs attribuées par un expert. Des architectures innovantes sont aujour- d’hui proposées pour annoter et corriger simultanément des annotations de différentes catégo- ries. Mais la complexité des calculs requis limite le nombre d’annotations réellement intégrées. Nous étudions ici une alternative conservant l’architecture standard de traitement en cascade. Nous montrons, sur la résolution des anaphores, que la modélisation de l’incertitude des anno- tations permet de limiter l’impact des annotations erronées, d’intégrer toutes les annotations nécessaires à l’inférence et de différer la révision des erreurs à un post-traitement. ABSTRACT. Outputs of NLP tools can be regarded as sets of annotations of predefined charac- ters included in a processed document. These annotations are said erroneous if they disagree with the annotations given by the experts. Innovative architectures have been proposed to an- notate and revise annotations by processing errors in various levels of linguistic annotations simultaneously. But the computational complexity limits the number of the annotations they can effectively handle. We study an alternative way which keeps the standard cascade pipeline architecture. We show, on the anaphora resolution, that modeling the reliability of the annota- tions helps to attenuate the impact of the noisy ones, to integrate into the pipeline all annotations needed to fulfill the tasks, and to postpone the correction of errors in a latter stage. MOTS-CLÉS : anaphore, réseau bayésien, annotation erronée, plate-forme d’annotation. KEYWORDS: anaphora, bayesian network, erroneous annotation, annotation pipeline. TAL. Volume 52 – n˚1/2011, pages 161 à 185 162 TAL. Volume 52 – n˚1/2011 1. Introduction Selon la définition de Grishman (1997), une annotation est un ensemble de proprié- tés prédéfinies qui caractérise une séquence continue ou discontinue d’un document, ou le document lui-même. Ces propriétés sont souvent de différents types (lexicales, syntaxiques, sémantiques ou ontologiques, par exemple). L’annotation d’un document relève d’une approche pragmatique du traitement automatique des langue (TAL) : le but n’est pas de produire une analyse complète du sens d’un document mais une re- présentation partielle de son contenu en vue de faciliter son traitement par d’autres ap- plications, par exemple de résumé automatique, de traduction ou encore de question- réponse. Une annotation est dite erronée lorsque sa valeur diffère de la valeur attendue, qui peut être déterminée par une expertise humaine1 ou provenir de corpus étalons. Une annotation peut être erronée pour différentes raisons. Outre le cas où elle est simple- ment absente, ses frontières peuvent être mal positionnées. On observe souvent ce problème avec les entités nommées qui peuvent être imparfaitement reconnues par l’étiqueteur qui y inclut trop ou pas assez de mots. Lorsque l’annotation est correc- tement …

Content truncated to 500 words