Évaluation des outils terminologiques : enjeux, difficultés et propositions [Evaluation of terminological tools : challenges, problems and propositions]

Évaluation des outils terminologiques : enjeux, difficultés et propositions Adeline Nazarenko* — Haïfa Zargayouna* — Olivier Hamon* ** — Jonathan van Puymbrouck* * Laboratoire d’Informatique de Paris-Nord (CNRS - Univ. Paris 13, UMR 7030) 99, avenue J.B. Clément, F-93430 Villetaneuse prenom.nom@lipn.univ-paris13.fr ** ELDA 55-57 rue Brillat-Savarin, 75013 Paris hamon@elda.org RÉSUMÉ. Cas particulier parmi les tâches de traitement automatique des langues, l’acquisition terminologique n’a guère fait l’objet d’évaluation systématique jusqu’à présent. Les campagnes qui ont eu lieu sont récentes et limitées. Il est cependant nécessaire de conduire des évaluations pour faire le bilan des recherches passées, mesurer les progrès accomplis et les angles morts. Cet article défend l’idée qu’on peut définir des protocoles d’évaluation comparative même pour des tâches complexes comme la terminologie computationnelle. La méthode proposée s’appuie sur une décomposition des outils d’analyse terminologique en fonctionnalités élémentaires ainsi que sur la définition de mesures de précision et de rappel adaptées aux problèmes terminolo- giques, à savoir la complexité des produits terminologiques, la dépendance aux applications, le rôle de l’interaction avec l’utilisateur et la variabilité des terminologies de référence. ABSTRACT. In contrast with other NLP subtasks, there has been only few and limited evaluation campaigns for terminology acquisition. It is nevertheless important to assess the progress made, the quality and limitations of terminological tools. This paper argues that it is possible to define evaluation protocols for tasks as complex as computational terminology. Our approach relies on the decomposition into elementary terminological subtasks and on metric definition. We take into account the specificity of computational terminology, the complexity of its outputs, the role of application and user and the absence of well-established gold standard. MOTS-CLÉS : extraction de termes, variation, évaluation, distance terminologique. KEYWORDS: term extraction, term variation, evaluation, terminological distance. TAL. Volume 50 – n˚ 1/2009, pages 257 à 281 258 TAL. Volume 50 – n˚ 1/2009 1. Introduction À la croisée de la terminologie traditionnelle et du traitement automatique des langues (TAL), la terminologie computationnelle cherche à construire de manière au- tomatique ou semi-automatique des ressources terminologiques à partir de corpus. Ce domaine de recherche est né au début des années 1990 avec l’essor de l’analyse de corpus mais, du fait de l’accroissement des besoins de gestion de l’information et de leur internationalisation, les ressources terminologiques qui permettent d’indexer les documents, de guider la rédaction de documents techniques, de les traduire, etc. sont de plus en plus nécessaires. Malgré les années de recul et d’expériences accumulées, il est difficile de se faire une idée claire de l’état de maturité des recherches en terminologie computationnelle. À la différence de nombreux autres pans du TAL, il y a eu peu d’effort collectif pour définir un cadre d’évaluation adapté à ce type de travaux. Les raisons sont diverses. Issue au départ de pays francophones, la terminologie computationnelle n’a pas bé- néficié de l’impulsion américaine pour tout ce qui touche aux tâches d’évaluation. De manière générale, c’est une tâche considérée comme moins classique que l’analyse syntaxique, la désambiguïsation ou l’extraction d’information. Il y a …

Content truncated to 500 words