Unsupervised CRF for knowledge discovery (Découverte de connaissances dans les séquences par CRF non-supervisés) [in French]

Découverte de connaissances dans les séquences par CRF non-supervisés Vincent Claveau1 Abir Ncibi2 (1) IRISA-CNRS (2) INRIA-IRISA Campus de Beaulieu, 35042 Rennes, France RÉSUMÉ Les tâches de découverte de connaissances ont pour but de faire émerger des groupes d’entités cohérents. Ils reposent le plus souvent sur du clustering, tout l’enjeu étant de définir une notion de similarité pertinentes entre ces entités. Dans cet article, nous proposons de détourner les champs aléatoires conditionnels (CRF), qui ont montré leur intérêt pour des tâches d’étiquetage supervisées, pour calculer indirectement ces similarités sur des séquences de textes. Pour cela, nous générons des problèmes d’étiquetage factices sur les données à traiter pour faire apparaître des régularités dans les étiquetages des entités. Nous décrivons comment ce cadre peut être mis en œuvre et l’expérimentons sur deux tâches d’extraction d’informations. Les résultats obtenus démontrent l’intérêt de cette approche non-supervisée, qui ouvre de nombreuses pistes pour le calcul de similarités dans des espaces de représentations complexes de séquences. ABSTRACT Unsupervised CRF for knowledge discovery Knowledge discovery aims at bringing out coherent groups of entities. They are usually based on clustering ; the challenge is then to define a notion of similarity between the relevant entities. In this paper, we propose to divert Conditional Random Fields (CRF), which have shown their interest in supervised labeling tasks, in order tocalculate indirectly the similarities among text sequences. Our approach consists in generate artificial labeling problems on the data to be processed to reveal regularities in the labeling of the entities. We describe how this framework can be implemented and experiment it on two information retrieval tasks. The results demonstrate the usefulness of this unsupervised approach, which opens many avenues for defining similarities for complex representations of sequential data. MOTS-CLÉS : Découverte de connaissances, CRF, clustering, apprentissage non-supervisé, ex- traction d’informations. KEYWORDS: Knowledge discovery, CRF, clustering, unsupervised machine learning, information extraction. TALN-RÉCITAL 2013, 17-21 Juin, Les Sables d’Olonne 257 c￿ ATALA 1 Introduction Les tâches d’étiquetage de séquences sont depuis longtemps d’un intérêt particulier pour le TAL (étiquetage en parties-du-discours, annotation sémantique, extraction d’information, etc.). Beaucoup d’outils ont été proposés pour ce faire, mais depuis quelques années, les Champs aléatoires conditionnels (Conditional Random Fields, CRF (Lafferty et al., 2001)) se sont imposés comme l’un des plus efficaces pour de nombreuses tâches. Ces modèles sont supervisés : des exemples de séquences avec leurs labels sont donc nécessaires. Le travail présenté dans cet article se place dans un cadre différent dans lequel on souhaite faire émerger des informations à partir de ces séquences. Nous nous inscrivons donc dans une tâche de découverte de connaissances dans laquelle il n’est plus question de supervision, le but étant au contraire de découvrir comment les données peuvent être regroupées dans des catégories qui fassent sens. Ces tâches de découvertes reposent donc le plus souvent sur du clustering (Wang et al., 2011, 2012; Ebadat et al., 2012), la question cruciale étant de savoir comment calculer la similarité entre deux entités jugées intéressantes. Dans cet article, nous proposons de détourner …

Content truncated to 500 words