Symbolic and statistical learning for chunking : comparison and combinations (Apprentissage symbolique et statistique pour le chunking:comparaison et combinaisons) [in French]

Apprentissage symbolique et statistique pour le chunking: comparaison et combinaisons Isabelle Tellier, Yoann Dupont Laboratoire Lattice, 1 rue Maurice Arnoux, 92320 Montrouge RÉSUMÉ Nous décrivons dans cet article l’utilisation d’algorithmes d’inférence grammaticale pour la tâche de chunking, pour ensuite les comparer et les combiner avec des CRF (Conditional Random Fields), à l’efficacité éprouvée pour cette tâche. Notre corpus est extrait du French TreeBank. Nous proposons et évaluons deux manières différentes de combiner modèle symbolique et modèle statistique appris par un CRF et montrons qu’ils bénéficient dans les deux cas l’un de l’autre. ABSTRACT Symbolic and statistical learning for chunking : comparison and combinations We describe in this paper how to use grammatical inference algorithms for chunking, then compare and combine them to CRFs (Conditional Random Fields) which are known efficient for this task. Our corpus is extracted from the FrenchTreebank. We propose and evaluate two ways of combining a symbolic model and a statistical model learnt by a CRF, and show that in both cases they benefit from one another. MOTS-CLÉS : apprentissage automatique, chunking, CRF, inférence grammaticale, k-RI, French TreeBank. KEYWORDS: machine learning, chunking, CRF, grammatical inference, k-RI, French TreeBank. 1 Introduction L’apprentissage automatique supervisé, surtout lorsqu’une grande quantité de données annotées est disponible, a largement prouvé son efficacité pour les tâches de fouille de textes classiques comme la classification ou l’annotation. Les bases théoriques des techniques d’apprentissage les plus performantes relèvent en général des statistiques (Naive Bayes), de l’optimisation (SVM) ou des deux (HMM, CRF). L’inconvénient principal des modèles produits par ces méthodes est qu’ils sont difficilement lisibles par un humain. Il existe pourtant aussi d’autres branches de l’apprentissage automatique, qualifiées de symbolique, qui ont la particularité d’offrir une sortie généralement plus lisible par un être humain. Les plus illustres membres de cette famille sont les arbres de décision, la Programmation Logique Inductive (PLI) ou l’Inférence Grammaticale (IG par la suite) (de la Higuera, 2010). C’est cette dernière qui nous intéresse ici. On peut la définir comme l’étude des techniques permettant d’apprendre une grammaire formelle ou tout autre modèle capable de représenter un langage (comme un automate, une expression régulière, etc...) à partir d’exemples de séquences (éventuellement enrichies) TALN-RÉCITAL 2013, 17-21 Juin, Les Sables d’Olonne 19 c￿ ATALA appartenant (ou non) à ce langage. Ce domaine, qui a son origine dans l’informatique théorique et la théorie des langages formels, est souvent méconnu. Les algorithmes d’IG sont en effet réputés ne pas très bien se comporter sur des données réelles : ils sont souvent algorithmiquement complexes, sensibles aux erreurs et peu adaptés aux langages fondés sur de grands alphabets (ce qui est le cas quand l’alphabet est l’ensemble des mots d’une langue naturelle). Dans cet article, nous voulons donner leur chance à des algorithmes classiques d’IG pour les comparer aux méthodes d’apprentissage automatique statistique état de l’art, en l’occurrence les CRF (Lafferty et al., 2001). La tâche considérée est le chunking (Abney, 1991) du français, qui peut en effet très bien être réalisée à l’aide d’automates construits manuellement (Antoine …

Content truncated to 500 words