Impact du degré de supervision sur l’adaptation à un domaine d’un modèle de langage à partir du Web (Impact of the level of supervision on Web-based language model domain adaptation) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 193–200, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP Impact du degré de supervision sur l’adaptation à un domaine d’un modèle de langage à partir du Web Gwénolé Lecorvé1 John Dines1,2 Thomas Hain3 Petr Motlicek1 (1) Idiap Research Institute, Martigny, Suisse (2) Koemei, Martigny, Suisse (3) University of Sheffield, Sheffield, Royaume-Uni glecorve@idiap.ch, dines@idiap.ch, t.hain@dcs.shef.ac.uk, motlicek@idiap.ch RÉSUMÉ L’adaptation à un domaine d’un modèle de langage consiste à réestimer ses probabilités afin de mieux modéliser les spécificités linguistiques d’un thème considéré. Pour ce faire, une ap- proche désormais classique est de récupérer des pages Web propres au domaine à partir d’un échantillon textuel représentatif de ce même domaine, texte appelé noyau. Cet article présente une étude originale sur l’importance qu’a le choix du noyau sur le processus d’adaptation et sur les performances des modèles de langage adaptés en reconnaissance automatique de la parole. Le but de cette étude est d’analyser les différences entre une adaptation supervisée, au sein de laquelle le noyau est généré manuellement, et une adaptation non supervisée, où le noyau est une transcription automatique. Nos expériences, menées sur un cas d’application réel, montrent que les différences varient selon les scénarios d’adaptation et que l’approche non supervisée est globalement convaincante, notamment au regard de son faible coût. ABSTRACT Impact of the level of supervision on Web-based language model domain adaptation Domain adaptation of a language model aims at re-estimating word sequence probabilities in order to better match the peculiarities of a given broad topic of interest. To achieve this task, a common strategy consists in retrieving adaptation texts from the Internet based on a given domain-representative seed text. In this paper, we study the influence of the choice of this seed text on the adaptation process and on the performances of adapted language models in automatic speech recognition. More precisely, the goal of this original study is to analyze the differences between supervised adaptation, in which the seed text is manually generated, and unsupervised adaptation, where the seed text is an automatic transcript. Experiments carried out on videos from a real-world use case mainly show that differences vary according to adaptation scenarios and that the unsupervised approach is globally convincing, especially according to its low cost. MOTS-CLÉS : Modèle de langage, adaptation à un domaine, supervision, données du Web. KEYWORDS: Language model, domain adaptation, supervision, Web data. 1 Introduction Le modèle de langage (ML) n-gramme de la plupart des systèmes de reconnaissance automatique de la parole (RAP) est habituellement appris sur une vaste collection de textes de domaines variés. Par conséquent, ce ML généraliste n’est plus optimal dès lors qu’il s’agit de transcrire des documents oraux traitant d’un domaine précis. Pour résoudre ce problème, l’adaptation à un domaine d’un ML cherche à réestimer les probabilités n-grammes du ML généraliste de manière à prendre en compte les spécificités linguistiques du domaine considéré, le but final étant d’améliorer les taux de reconnaissance du système de RAP. 193 Une …

Content truncated to 500 words