Variabilité des performances des outils de TAL et genre textuel [Textual genre and variability of NLP tools’ performance]

Variabilité des performances des outils de TAL et genre textuel Cas des patrons lexico-syntaxiques Marie-Paule Jacques* — Nathalie Aussenac-Gilles** * ERSS - UMR 5610 Maison de la Recherche - Université de Toulouse-Le Mirail 5, allée Antonio-Machado, F-31058 Toulouse Cedex 9 marie-paule.jacques@univ-tlse2.fr ** Institut de Recherche en Informatique de Toulouse (IRIT) - CNRS UPS, 118, route de Narbonne, F-31062 Toulouse Cedex aussenac@irit.fr RÉSUMÉ. Nous rapportons dans cet article un ensemble de résultats liés à la mise au point d’une base de marqueurs de relations lexicales pour un outil d’aide à la réalisation d’ontologies à partir de textes, CAMÉLÉON. L’évaluation de ces patrons sur huit corpus différents montre une grande variation de leurs performances selon le corpus testé. Cela nous conduit à deux sortes de conclusions : 1. dans le cadre de traitements automatiques, il est nécessaire de fournir à l’utilisateur des informations sur les corpus avec lesquels ces traitements ont été mis au point ; 2. la recherche en matière de TAL doit contribuer à définir une meilleure caractérisation des textes et des genres textuels en relation avec les traitements possibles, au-delà d’une classification unique et rigide des textes. ABSTRACT. In this paper, we report a set of results obtained by tuning a base of lexical relation patterns for CAMÉLÉON, a tool that supports ontology engineering from texts. When evaluating these patterns on eight different corpora, their efficiency varied strongly depending on the test corpus. This leads to two conclusions: 1. in the scope of NLP, users must be provided with pieces of information about the corpora used for evaluating the NLP task; 2. NLP research should contribute to a better text characterisation through an appropriate definition of text genres, which should go beyond a rigid and unique text classification. MOTS-CLÉS : relations lexicales, patrons lexico-syntaxiques, genre textuel, variabilité, modélisation de connaissances. KEYWORDS: lexical relations, lexico-syntactic patterns, text genre, variability, knowledge engineering. TAL. Volume 47 – n° 1/2006, pages 11 à 32 12 TAL. Volume 47 – n° 1/2006 1. Introduction La question que nous abordons dans cet article est celle de la variabilité des résultats d’un même traitement appliqué à différents genres de textes. La plupart du temps, les recherches en matière de traitement automatique, lorsqu’elles présentent des analyses sur corpus, indiquent des résultats obtenus sur seulement UN corpus ou un ensemble indistinct de textes. Il est vrai que pour de nombreuses tâches, les premiers problèmes à résoudre ont d’abord été de déterminer comment réaliser ces tâches et comment les réaliser de façon optimale avant de mesurer si ce comment devait ou pouvait être adapté au type de texte à traiter. Mais maintenant qu’une certaine maturité a été atteinte et que l’on cerne mieux comment réaliser tel ou tel type d’analyse, il est possible de faire entrer en jeu les nuances requises par la diversité des textes. On voit d’ailleurs émerger cette problématique dans des travaux récents : C. Frérot (2005) montre dans sa thèse que les performances de différentes stratégies de rattachement prépositionnel (pour une tâche d’analyse syntaxique) sont …

Content truncated to 500 words