Pour l’évaluation externe des systèmes de TA par des méthodes fondées sur la tâche [For an external evaluation of MT systems by task-based methods]

TAL. Volume 48 – n° 1/2007, pages 33 à 65 Pour l’évaluation externe des systèmes de TA par des méthodes fondées sur la tâche Hervé Blanchon, Christian Boitet Laboratoire LIG, équipe GETALP, BP 53, 38041 Grenoble Cedex 9 Herve.Blanchon@imag.fr, Christian.Boitet@imag.fr RÉSUMÉ. Les méthodes externes d’évaluation de systèmes de TA définissent des mesures de qualité à partir des résultats de TA et de leur usage. Alors que les systèmes opérationnels sont depuis longtemps le plus souvent évalués par des méthodes fondées sur la tâche, les campagnes d’évaluation des dernières années utilisent (parcimonieusement) des méthodes subjectives assez chères fondées sur des jugements humains peu fiables, et (pour la plus grande part) des méthodes basées sur des traductions de référence, impossibles à utiliser lors de l’utilisation réelle d’un système, d’autant moins corrélées aux jugements humains que la qualité augmente, et totalement irréalistes en ce qu’elles forcent à mesurer les progrès sur des corpus fixes, sans cesse retraduits, et non sur de nouveaux textes à traduire pour des besoins réels. Il y a aussi de nombreux biais introduits par le désir de diminuer les coûts, en particulier l’utilisation de corpus parallèles dans le sens inverse de leur production et l’utilisation de juges monolingues au lieu de bilingues. Nous prouvons cela par une analyse de l’histoire de l’évaluation en TA, des méthodes d’évaluation du « courant dominant », et de certaines récentes campagnes d’évaluation. Nous proposons d’abandonner les méthodes fondées sur des traductions de référence en évaluation externe, et de les remplacer par des méthodes strictement fondées sur la tâche, en les réservant à l’évaluation interne. ABSTRACT. External methods for evaluating MT systems define various measures based on MT results and their usage. While operational systems are mostly evaluated since long by task- based methods, evaluation campaigns of the last years use (parsimoniously) quite expensive subjective methods based on unreliable human judgments, and (for the most part) methods based on reference translations, that are impossible to use during the real usage of a system, less correlated with human judgments when quality increases, and totally unrealistic in that they force to measure progress on fixed corpora, endlessly retranslated, and not on new texts to be translated for real needs. There are also numerous biases introduced by the desire to diminish costs, in particular the usage of parallel corpora in the direction opposed to that of their production, and of monolingual rather than bilingual judges. We prove the above by an analysis of the history of MT evaluation, of the « mainstream » evaluation methods, and of certain recent evaluation campaigns. We propose to abandon the reference-based methods in external evaluations, and to replace them by strictly task-based methods, while reserving them for internal evaluations. MOTS-CLÉS : évaluation, traduction Automatique, évaluation d’utilisabilité. KEYWORDS : evaluation, machine translation, usability evaluation. 34 TAL. Volume 48 – n° 1/2007 1. Introduction Depuis 2000, l’évaluation des systèmes de traduction automatique (TA) a pris une importance considérable au sein de la communauté des chercheurs en TA. Cela concerne surtout la TA statistique …

Content truncated to 500 words