Building Monolingual Comparable and Annotated Corpora: An experimental study from a pos tagged corpus (Construire un corpus monolingue annoté comparable Expérience à partir d’un corpus annoté morpho-syntaxiquement) [in French]

21ème Traitement Automatique des Langues Naturelles, Marseille, 2014 Construire un corpus monolingue annoté comparable Expérience à partir d’un corpus annoté morpho-syntaxiquement Nicolas Hernandez LINA UMR 6241, Université de Nantes nicolas.hernandez@univ-nantes.fr Résumé. Motivé par la problématique de construction automatique d’un corpus annoté morpho-syntaxiquement distinct d’un corpus source, nous proposons une définition générale et opérationnelle de la relation de la comparabilité entre des corpus monolingues annotés. Nous proposons une mesure de la relation de comparabilité et une procédure de construction d’un corpus comparable annoté à partir d’un corpus annoté existant. Nous montrons que la mesure de la perplexité (théorie de l’information) est un moyen de sélectionner des phrases nouvelles pour construire un corpus com- parable annoté grammaticalement. Abstract. This work is motivated by the will of creating a new part-of-speech annotated corpus in French from an existing one. We propose a general and operational definition of the comparability relation between annotated monolin- gual corpora. We also propose a comparability measure and a procedure to build semi-automatically a comparable corpus from a source one. We study the use of the perplexity (information theory motivated measure) as a way to rank the sen- tences to select for building a comparable corpus. We show that the measure can play a role but that it is not sufficient. Mots-clés : Corpus comparable, Corpus monolingue, Corpus annoté, Mesure de la comparabilité, Construction de corpus comparable, Analyse morpho-syntaxique, Auto-apprentissage, Perplexité. Keywords: Comparable corpus, Monolingual corpus, Annotated corpus, Measuring comparability, Building com- parable corpus, Part-of-Speech tagging, Self-learning, Perplexity. 1 Introduction La question de construction de corpus comparables est souvent abordée dans le contexte applicatif d’extraction termi- nologique multilingue 1 (Bo et al., 2011). Cette question a aussi son importance dans un contexte monolingue où l’on peut vouloir construire un corpus avec des propriétés linguistiques similaires à un corpus source. En effet, il n’est pas rare pour un chercheur de souhaiter diffuser des corpus et des résultats d’analyse associés et ce, afin de permettre à ses pairs de vérifier ou de poursuivre ses expériences (Nielsen, 2011). Néanmoins, en pratique ce type d’ambition se trouve souvent compromis pour des questions de droit visant la protection de données personnelles ou le respect d’une licence d’exploitation associée aux données utilisées. Dans ce travail, nous nous situons dans un contexte monolingue avec comme contraintes de ne pas pouvoir diffuser tout ou partie d’un corpus source mais d’avoir à disposition un corpus, que nous appellerons corpus relais, de taille importante et ne présentant pas les restrictions d’exploitation du corpus source. Dans ce cadre, nous explorons la possibilité de construire un corpus comparable au corpus source à partir d’extraits du corpus relais. Nous postulons que la détermination de la relation de comparabilité entre deux corpus est fonction du traitement d’analyse (e.g. segmentation en mots, étiquetage morpho-syntaxique, reconnaissance des entités nommées...) à laquelle on destine ces corpus. Plus précisément nous qualifierons de comparables 2 des corpus à partir desquels on peut construire des modélisations 3 pour un traitement donné, qui produisent des performances équivalentes lorsqu’elles sont évaluées …

Content truncated to 500 words