Lemmatization of Historical Old Literary Finnish Texts in Modern Orthography

Auto-encodeurs variationnels : contrecarrer le problème de posterior collapse grâce à la régularisation du décodeur Alban Petit Caio Corro Universite Paris-Saclay, CNRS, LISN, 91400, Orsay, France {alban.petit,caio.corro}@limsi.fr RÉSUMÉ Les auto-encodeurs variationnels sont des modèles génératifs utiles pour apprendre des représentations latentes. En pratique, lorsqu’ils sont supervisés pour des tâches de génération de textes, ils ont tendance à ignorer les variables latentes lors du décodage. Nous proposons une nouvelle méthode de régularisation fondée sur le dropout « fraternel » pour encourager l’utilisation de ces variables latentes. Nous évaluons notre approche sur plusieurs jeux de données et observons des améliorations dans toutes les configurations testées. ABSTRACT Variational auto-encoders : prevent posterior collapse via decoder regularization Variational autoencoders are powerful generative models useful to learn latent representations. Howe- ver, when supervised for text generation tasks, they tend to ignore the latent variables. We propose a novel regularization method based on fraternal dropout to encourage the use of latent variables. We evaluate our approach and observe improvements in all the tested configurations. MOTS-CLÉS : auto-encodeurs variationnels, régularisation, génération automatique de textes. KEYWORDS: variational auto-encoders, regularization, automatic text generation. 1 Introduction Les modèles génératifs reposant sur une pondération neuronale comme les auto-encodeurs variation- nels (Kingma & Welling, 2014, AEV) et les réseaux antagonistes (Goodfellow et al., 2014, RA), entre autres, connaissent une grande popularité dans tous les domaines de l’apprentissage automatique dont le traitement automatique des langues (TAL). Les AEV peuvent manipuler des variables observées discrètes ce qui les rend particulièrement intéressants pour la génération de textes, contrairement aux RA. Dans ces modèles, la génération d’une phrase suit le processus suivant : z ∼ p(z), x1 ∼ pθ(x1|z), x2 ∼ pθ(x2|z, x1) x3 ∼ pθ(x3|z, x1, x2), . . . où z ∈ Rk est une représentation (ou plongement) de phrase latente et x1, x2, · · · ∈ X les mots composant la phrase tirés d’un vocabulaire X. La génération se termine lorsqu’un mot spécial indiquant la fin de la phrase est généré. Sans perte de généralité, nous faisons l’hypothèse que la loi a priori p(z) est pré-définie et non apprise. L’indice θ dénote les paramètres de la distribution conditionnelle et dans notre cas, θ correspond aux paramètres d’un réseau de neurones. Il est important de noter que nous ne faisons aucune hypothèse d’indépendance dans la distribution conditionnelle p(xt|z, x<t). Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles Lille, France, 28 juin au 2 juillet 2021 Volume 1 : conférence principale, pages 2–10. Cette œuvre est mise à disposition sous licence Attribution 4.0 International. Lors de la phase d’apprentissage, l’objectif est de calculer la valeur des paramètres θ pour maximiser la vraisemblance des données : max θ E˜p(x) [log pθ(x)] = max θ E˜p(x) �� log pθ(x|z)p(z)dz � = max θ E˜p(x) [L(x, θ)] (1) où ˜p est la distribution empirique des données d’entrainement. L’objectif est incalculable dans le cas général, sans même parler d’optimiser celui-ci, à cause de la marginalisation sur la représentation latente z. Les méthodes variationnelles proposent …

Content truncated to 500 words