Terminologie et paramètres expérimentaux pour l’évaluation des résumés automatiques [Terminology and experimental parameters for the evaluation of automatic summaries]

Terminologie et paramètres expérimentaux pour l’évaluation des résumés automatiques Marie-Josée Goulet Département d’études langagières Université du Québec en Outaouais 283 boul. Alexandre-Taché Gatineau (Québec) Canada, J8X 3X7 marie-josee.goulet@uqo.ca RÉSUMÉ. Dans cet article, nous proposons d’abord une terminologie française pour la présen- tation des résultats d’évaluation de résumés automatiques. Ensuite, nous décrivons les para- mètres expérimentaux devant être précisés lors de la présentation des résultats d’une évalua- tion. Ces paramètres expérimentaux, identifiés à partir d’une analyse de vingt-deux évaluations dans le domaine du résumé automatique, sont des informations sur le déroulement d’une éva- luation. En outre, nous faisons ressortir les tendances et les problèmes méthodologiques asso- ciés à ces paramètres et formulons des recommandations pour guider le chercheur souhaitant évaluer des résumés automatiques. ABSTRACT. In this paper, we first propose a terminology to be used in the French presentation of evaluation results of automatic summaries. In the second part of the paper, we describe experimental parameters that should be included in the presentation of evaluation results, based on the analysis of twenty-two experiments in summarization evaluation. These experimental parameters are pieces of information about the evaluation design. As well, we point out the most popular trends and methodological problems associated with these parameters and give recommendations to guide the researcher who plans on evaluating automatic summaries. MOTS-CLÉS : évaluation, résumé automatique, terminologie, paramètres expérimentaux. KEYWORDS: evaluation, automatic summarization, terminology, experimental parameters. TAL. Volume 48 – n˚1/2007, pages 161 à 185 162 TAL. Volume 48 – n˚1/2007 1. Introduction Depuis la mise en place des campagnes d’évaluation Document Understanding Conferences (DUC), l’évaluation des résumés automatiques occupe désormais une place importante dans les publications en TAL. Ce consortium de chercheurs chevron- nés a établi des règles à suivre pour évaluer en même temps de nombreux systèmes de résumé automatique1. L’idée est intéressante puisqu’elle permet de comparer diffé- rentes méthodes de résumé automatique et de vérifier laquelle est la plus performante. Chaque année depuis 2001, les participants se réunissent pour parler de leurs résultats d’évaluation et des travaux à venir. D’une certaine façon, DUC s’est établi comme la référence anglophone en matière d’évaluation des résumés automatiques2. Il faut toutefois admettre que les méthodes et les critères d’évaluation utilisés dans DUC ne représentent qu’un sous-ensemble parmi toutes les possibilités imaginables. À ce jour, il n’existe pas de campagne d’évaluation des résumés automatiques dans le milieu scientifique francophone. Il n’existe pas, non plus, de modèle général sur le- quel peut se baser le chercheur désirant évaluer son système de résumé. Un tel modèle doit comprendre, d’une part, une terminologie claire et précise pour la présentation des résultats d’évaluation et, d’autre part, une liste complète des données à fournir, de même que des méthodes et critères d’évaluation appropriés dans différents contextes d’évaluation3. Le premier objectif de cet article est de proposer une terminologie française pour la présentation des résultats d’une évaluation de résumés automatiques. Notre revue de la littérature a fait ressortir quelques incohérences dans la désignation des concepts et dans l’utilisation des termes ayant trait à …

Content truncated to 500 words