Fouille d’erreurs sur des sorties d’analyseurs syntaxiques [Error Mining on Syntactic Parser Output]

Fouille d’erreurs sur des sorties d’analyseurs syntaxiques Benoît Sagot – Éric de La Clergerie INRIA Paris-Rocquencourt - Projet ALPAGE Domaine de Voluceau Rocquencourt, B.P. 105 F-78153 Le Chesnay cedex {benoit.sagot,eric.de_la_clergerie}@inria.fr RÉSUMÉ. Nous présentons une méthode de fouille d’erreurs pour détecter automatiquement des erreurs dans les ressources utilisées par les systèmes d’analyse syntaxique. Nous avons mis en œuvre cette méthode sur le résultat de l’analyse de plusieurs millions de mots par deux systèmes d’analyse différents qui ont toutefois en commun le lexique syntaxique et la chaîne de traitement présyntaxique. Nous pouvons ainsi identifier des inexactitudes et des incomplétudes dans les ressources utilisées. En particulier, la comparaison des résultats obtenus sur les sorties des deux analyseurs sur un même corpus nous permet d’isoler les problèmes issus des ressources partagées de ceux issus des grammaires. ABSTRACT. We introduce an error mining technique for automatically detecting errors in re- sources that are used in parsing systems. We applied this technique to parsing results produced on several million words by two distinct parsing systems, which share the syntactic lexicon and the pre-parsing processing chain. We are thus able to identify incorrectness and incomplete- ness sources in the resources. In particular, by comparing both systems’ results, we are able to isolate problems coming from shared resources from those coming from grammars. MOTS-CLÉS : analyse syntaxique, lexique syntaxique, fouille d’erreurs. KEYWORDS: parsing, syntactic lexicon, error mining. TAL. Volume 49 – n˚ 1/2008, pages 41 à 60 42 TAL. Volume 49 – n˚ 1/2008 1. Introduction Le traitement automatique des langues est une tâche difficile, en partie à cause de la complexité et de la quantité des informations qui doivent être prises en compte à pro- pos des mots et des constructions syntaxiques. Il est malgré tout nécessaire d’avoir ac- cès à ces informations, qui sont rassemblées dans des ressources telles que les lexiques et les grammaires, et d’essayer d’y minimiser la quantité d’informations manquantes ou erronées. À cette fin, l’utilisation de ces ressources à grande échelle dans des sys- tèmes d’analyse syntaxique est une approche très prometteuse (van Noord, 2004), et notamment en étudiant les situations qui conduisent à un échec de l’analyse : on peut apprendre de ses erreurs. Dans cet article, nous présentons un modèle probabiliste qui permet d’identifier les formes et les bigrammes de formes, mais également les lemmes et les bigrammes de lemmes, qui posent problème, à partir du résultat d’un ou de plusieurs analyseurs sur un corpus. Afin de faciliter l’exploitation des résultats du modèle, et notamment pour identifier les causes des erreurs, nous avons développé une interface de visuali- sation. L’ensemble a été appliqué sur les résultats de deux analyseurs syntaxiques du français (FRMG et SXLFG-fr), qui utilisent un même lexique syntaxique (le Lefff) et une même chaîne de traitement présyntaxique (SXPipe), et sur différents types de cor- pus importants (plusieurs millions de mots). Enfin, diverses améliorations, extensions et adaptations des idées présentées ici sont mentionnées à la fin de l’article, montrant ainsi la richesse des idées sous-jacentes. Bien que nous …

Content truncated to 500 words