Evaluer et améliorer une ressource distributionnelle: protocole d’annotation de liens sémantiques en contexte [Evaluating and improving a distributional resource: protocol for in-context annotation of semantic links]

Évaluer et améliorer une ressource distributionnelle : protocole d’annotation de liens sémantiques en contexte Clémentine Adam* — Cécile Fabre* — Philippe Muller** * CLLE-ERSS, 5 allées Antonio Machado – F-31058 Toulouse prenom.nom@univ-tlse2.fr ** IRIT, 118 route de Narbonne – F-31500 Toulouse muller@irit.fr RÉSUMÉ. L’application de méthodes d’analyse distributionnelle pour calculer des liens de proxi- mité sémantique entre les mots est devenue courante en TAL. Toutefois, il reste encore beaucoup à faire pour mieux comprendre la nature de la proximité sémantique qui est calculée par ces mé- thodes. Cet article est consacré à la question de l’évaluation d’une ressource distributionnelle, et de son amélioration ; en effet, nous envisageons la mise en place d’une procédure d’évalua- tion comme une première étape vers la caractérisation de la ressource et vers son ajustement, c’est-à-dire la réduction du bruit en faveur de paires de voisins distributionnels exhibant une relation sémantique pertinente. Nous proposons un protocole d’annotation en contexte des voi- sins distributionnels, qui nous permet de constituer un ensemble fiable de données de référence (couples de voisins jugés pertinents ou non par les annotateurs). Les données produites sont analysées, puis exploitées pour entraîner un système de catégorisation automatique des liens de voisinage distributionnel, qui prend en compte une large gamme d’indices et permet un fil- trage efficace de la ressource considérée. ABSTRACT. Using distributional analysis methods to compute semantic proximity links between words has become commonplace in NLP. This paper focuses on the issues of evaluating a dis- tributional resource. We consider that setting up an evaluation procedure is a first step towards the characterization of the resource, and a way to improve its overall quality. We then pro- pose a new protocol for in-text annotation of distributional neighbors, which is used to build a reliable reference data set. The data generated are analyzed and used to guide the automatic categorization of distributional links. MOTS-CLÉS : Analyse distributionnelle, ressources lexicales, évaluation. KEYWORDS: Distributional analysis, lexical resources, evaluation. TAL. Volume 54 – n˚ 1/2013, pages 71 à 97 72 TAL. Volume 54 – n˚ 1/2013 1. Introduction L’application de méthodes d’analyse distributionnelle pour calculer des liens de proximité sémantique entre les mots est devenue courante en TAL. Les procédures de calcul de la similarité distributionnelle sont désormais bien définies, des expérimenta- tions ont été menées dans différents contextes applicatifs et sur plusieurs langues, et des synthèses récentes (Baroni et Lenci, 2010 ; Turney et al., 2010 ; Clark, à paraître) ont permis de dresser un panorama cohérent du champ de la sémantique distribution- nelle, en précisant les paramètres qui varient selon les méthodes – principalement : la taille et la nature des contextes considérés, les mesures de similarité employées, les méthodes mises en œuvre pour optimiser le calcul. Si ces aspects méthodologiques sont maintenant clarifiés, il reste encore beaucoup à faire pour mieux comprendre la nature de la proximité sémantique qui est calculée par ce biais. Comme le dit Sahl- gren (2006, p. 57), l’hypothèse distributionnelle repose sur des fondements très peu contraints sur le …

Content truncated to 500 words