Trois expériences d’évaluation dans le cadre du développement d’un système d’alignement sous-phrastique [Three evaluation experiments in the context of the development of a sub-sentential alignment system]

Trois expériences d’évaluation dans le cadre du développement d’un système d’alignement sous-phrastique Sylwia Ozdowska NCLT, School of Computing, Dublin City University Dublin 9, Irlande sozdowska@computing.dcu.ie RÉSUMÉ. Nous présentons la démarche que nous avons adoptée pour mener à bien une évalua- tion système dans le contexte du développement d’un système d’alignement sous-phrastique, ALIBI. À cet égard, nous examinons trois procédures d’évaluation qui correspondent à des as- pects fondamentaux de la mise au point de systèmes de traitement automatique des langues : une évaluation par annotation des sorties du système qui permet d’observer le comportement de chaque composante prise isolément, une évaluation avec des références multicorpus qui permet d’observer le comportement d’un système selon le type de corpus qu’il prend en entrée et une évaluation avec une référence standard disponible publiquement qui permet d’observer son comportement par rapport à des outils de même famille. Nous décrivons chaque expérience d’évaluation et faisons le point sur la nature des résultats qu’elle fournit ainsi que leurs apports. ABSTRACT. We present the approach we adopted to carry out a system oriented evaluation in the context of the development of a word alignment system, ALIBI. We look at three evaluation procedures corresponding to fundamental aspects in the development of natural language pro- cessing systems: an evaluation resulting from the annotation performed on output alignments to accurately examine the behaviour of each module under study, an evaluation with multicorpus references allowing to observe the behaviour of a system depending on the type of input corpus and an evaluation with a standard reference allowing to observe its behaviour in comparison with other systems of the same type. We describe each procedure and discuss the measures particular to each of them as well as their contribution to system oriented evaluation. MOTS-CLÉS : évaluation système, évaluation multicorpus, évaluation standard, annotation multi- juge, accord interjuge, alignement sous-phrastique. KEYWORDS: system oriented evaluation, cross-corpus evaluation, gold standard evaluation, mul- tiple annotation, inter-annotator agreement, word alignment. TAL. Volume 48 – n◦ 1/2007, pages 93 à 114 94 TAL. Volume 48 – n◦ 1/2007 1. Introduction En traitement automatique des langues (TAL), il existe différents types d’évalua- tion — évaluation système, évaluation par la tâche et évaluation utilisateur — dont le choix est conditionné entre autres par la maturité du système testé (Hirschman et al., 2003 ; Paroubek, 2004). Dans cet article, nous nous intéressons à une évalua- tion système dans le contexte du développement d’un système d’alignement sous- phrastique, ALIBI (Ozdowska, 2006). Ce type d’évaluation permet d’estimer les per- formances intrinsèques d’un système en tant que technologie et non en tant qu’appli- cation opérationnelle en condition réelle (Chaudiron, 2004). L’estimation s’effectue par comparaison des sorties proposées par le système avec des données de référence et sur la base de mesures communes, à savoir précision, rappel et f-mesure. La consti- tution d’une référence passe par une phase d’annotation manuelle au cours de laquelle un humain attribue aux données de test les informations que le système à évaluer est censé produire. Dans le cas de l’alignement sous-phrastique, …

Content truncated to 500 words