Le rôle des métriques d’évaluation dans le processus de recherche en TAL [The role of evaluation metrics in the NLP research process]

TAL. Volume 48 – n° 1/2007, pages 67 à 91 Le rôle des métriques d’évaluation dans le processus de recherche en TAL Andrei Popescu-Belis IDIAP Research Institute Centre du Parc Av des Prés-Beudin 20 Case postale 592 CH-1920 Martigny Suisse andrei.popescu-belis@idiap.ch RÉSUMÉ. Le traitement automatique des langues (TAL) relève à la fois de la démarche scientifique et de la démarche technologique. Dans les deux cas, l’évaluation des systèmes informatiques implémentés est indispensable pour estimer le succès d’une recherche. S’inspirant du cadre ISO pour l’évaluation des logiciels, et utilisant une typologie des systèmes de TAL fondée sur la place de la langue parmi les données d’entrée ou de sortie, cet article analyse le rôle central des métriques d’évaluation à plusieurs étapes du processus de recherche en TAL. L’accent est mis sur les métriques qui comparent un résultat produit avec des résultats corrects attendus. L’analyse de plusieurs situations d’évaluation, en particulier le cas des systèmes de traduction automatique, illustre l’importance d’un choix cohérent des métriques et de l’utilisation conjointe de plusieurs métriques. L’influence du contexte d’utilisation sur le choix des métriques et le cas des systèmes interactifs sont discutés en conclusion. ABSTRACT. Research in natural language processing (NLP) has both scientific and technological dimensions. In both cases, it is necessary to evaluate the implemented systems in order to assess the success of a study. This article, grounded in the ISO framework for software evaluation, introduces a typology of NLP systems based on the role of language as input or output data, in order to analyze the central role of evaluation metrics at several stages of the NLP research process. The article focuses on the evaluation metrics that compare the response of a system to a set of correct responses. The analysis of several evaluation examples, in particular the case of machine translation systems, shows the importance of a coherent choice of metrics and of the joint use of several metrics. The influence of the context of use on the set of metrics and the case of interactive systems are discussed as a conclusion. MOTS-CLÉS : systèmes de TAL, évaluation, normes ISO, caractéristiques de qualité, métriques d’évaluation. KEYWORDS: NLP systems, evaluation, ISO standards, quality characteristics, evaluation metrics. 68 TAL. Volume 48 – n° 1/2007 1. Introduction La perception de l’évaluation dans le domaine du traitement automatique des langues (TAL) varie considérablement selon les chercheurs, les utilisateurs des technologies ou les bailleurs de fonds. Alors que certains prennent position contre l’évaluation et ses effets sur le monde de la recherche, d’autres déplorent les limites des évaluations actuelles et souhaitent leur généralisation et leur perfectionnement. Il paraît donc légitime de s’interroger sur la nature et l’utilité de l’évaluation en TAL en se fondant sur une conception de l’évaluation suffisamment large pour être communément acceptée, mais aussi suffisamment précise pour énoncer des conclusions à portée applicative. C’est à la définition d’un tel modèle de l’évaluation, à son analyse épistémologique et à ses conséquences sur le choix des métriques d’évaluation que cette étude est consacrée. Partant de …

Content truncated to 500 words