Analogy-based Text Normalization : the case of unknowns words (Normalisation de textes par analogie: le cas des mots inconnus) [in French]

[O-E.3] 137 21ème Traitement Automatique des Langues Naturelles, Marseille, 2014 Normalisation de textes par analogie: le cas des mots inconnus Marion Baranes1,2 Benoît Sagot2 (1) viavoo, 92100 Boulogne Billancourt (2) Alpage, INRIA & Université Paris-Diderot, 75013 Paris {prenom.nom}@inria.fr Résumé. Dans cet article, nous proposons et évaluons un système permettant d’améliorer la qualité d’un texte bruité notamment par des erreurs orthographiques. Ce système a vocation à être intégré à une architecture complète d’extraction d’information, et a pour objectif d’améliorer les résultats d’une telle tâche. Pour chaque mot qui est inconnu d’un lexique de référence et qui n’est ni une entité nommée ni une création lexicale, notre système cherche à proposer une ou plusieurs normalisations possibles (une normalisation valide étant un mot connu dont le lemme est le même que celui de la forme orthographiquement correcte). Pour ce faire, ce système utilise des techniques de correction automatique lexicale par règle qui reposent sur un système d’induction de règles par analogie. Abstract. Analogy-based Text Normalization : the case of unknowns words. In this paper, we describe and evaluate a system for improving the quality of noisy texts containing non-word errors. It is meant to be integrated into a full information extraction architecture, and aims at improving its results. For each word unknown to a reference lexicon which is neither a named entity nor a neologism, our system suggests one or several normalization candidates (any known word which has the same lemma as the spell-corrected form is a valid candidate). For this purpose, we use an analogy- based approach for acquiring normalisation rules and use them in the same way as lexical spelling correction rules. Mots-clés : normalisation textuelle, correction orthographique, analogie. Keywords: Text normalization, Spell checking, Analogy. 1 Introduction La qualité orthographique d’un texte peut avoir de nombreux impacts sur les analyses faites en traitement automatique de la langue. Les outils pour le français par exemple sont très souvent conçus pour traiter du français standard. La qualité de leurs analyses et leurs résultats se retrouvent par conséquent assez dégradés dès qu’il s’agit de traiter des textes plus bruités. Le système présenté ici tend à améliorer la qualité d’un texte donné pour une tâche d’extraction d’informations. L’outil effectuant cette tâche réalise ses analyses en s’appuyant sur des séquences de mots représentés par leurs lemmes. Notre objectif est d’améliorer la qualité des textes qu’il traite avant leur passage dans l’outil en les normalisant. La normalisation est une tâche qui a pour but de proposer, pour chaque mot considéré comme « fautif », sa forme nor- mativement correcte ou une forme qui lui est flexionnellement liée. Nous considérons qu’une forme est « fautive » si son orthographe peut gêner une analyse ultérieure. Notre travail se concentre sur la normalisation des fautes lexicales, qui correspondent à des mots inconnus de notre lexique de référence, ici, le Lefff (Sagot, 2010), en laissant de côté pour l’instant les fautes grammaticales non flexionnelles, où un mot est remplacé par un autre mot connu du lexique et de lemme différent (ex …

Content truncated to 500 words