Cross-lingual Strategies for Low-resource Language Modeling: A Study on Five Indic Dialects

Cross-lingual Strategies for Low-resource Language Modeling: A Study on Five Indic Dialects Niyati Bafna1 Cristina España-Bonet3 Josef van Genabith2,3 Benoît Sagot1 Rachel Bawden1 (1) Inria, Paris, France (2) Saarland Informatics Campus, Saarland University, Germany (3) DFKI GmbH, Germany niyatibafna13@gmail.com,{josef.van_genabith,cristinae}@dfki.de, {benoit.sagot,rachel.bawden}@inria.fr ABSTRACT Neural language models play an increasingly central role for language processing, given their success for a range of NLP tasks. In this study, we compare some canonical strategies in language modeling for low-resource scenarios, evaluating all models by their (finetuned) performance on a POS-tagging downstream task. We work with five (extremely) low-resource dialects from the Indic dialect continuum (Braj, Awadhi, Bhojpuri, Magahi, Maithili), which are closely related to each other and the standard mid-resource dialect, Hindi. The strategies we evaluate broadly include from-scratch pretraining, and cross-lingual transfer between the dialects as well as from different kinds of off-the- shelf multilingual models; we find that a model pretrained on other mid-resource Indic dialects and languages, with extended pretraining on target dialect data, consistently outperforms other models. We interpret our results in terms of dataset sizes, phylogenetic relationships, and corpus statistics, as well as particularities of this linguistic system. RÉSUMÉ Stratégies inter-langues pour la modélisation des langues à faibles ressources : étude sur cinq dialectes indo-aryens Les modèles de langue neuronaux jouent désormais un rôle central en traitement automatique des langues, grâce à leurs performances sur de nombreuses tâches du domaine. Dans cet article, nous étudions le développement de tels modèles pour des langues (très) peu dotées, à savoir cinq langues du continuum dialectal indo-aryen (braj, awadhi, bhojpuri, magahi, maithili), toutes très proches du hindi, une langue moyennement dotée. Nous comparons plusieurs stratégies classiques par l’adaptation (finetuning) et l’évaluation sur la tâche d’étiquetage en parties du discours. Ces stratégies incluent le pré-entraînement à partir de zéro ainsi que le transfert entre dialectes et depuis des modèles multilingues existants. Nous constatons qu’un modèle préentraîné sur d’autres dialectes et langues indiennes moyennement dotées avec poursuite du préentraînement sur les données du dialecte cible surpasse systématiquement les autres modèles. Nous interprétons nos résultats à la lumière de la taille des jeux de données et de leurs propriétés statistiques, des relations phylogénétiques entre dialectes, ainsi que des particularités de ce système linguistique. KEYWORDS: Language modeling, low-resource, Indic languages, cross-lingual transfer, POS tagging. Actes de CORIA-TALN 2023 Paris, France, 5 au 9 juin 2023 Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 1 : travaux de recherche originaux – articles longs, pages 28–42. Cette œuvre est mise à disposition sous licence Attribution 4.0 International. MOTS-CLÉS : Modèles de langue, peu dotée, langues indo-aryennes, transfert cross-lingue, étiquetage morpho-syntaxique. 1 Introduction In the last decade, natural language models have made tremendous progress on multiple tasks (Kalyan et al., 2021). Many recent advances in natural language processing (NLP) owe credit to neural models that are pretrained over large quantities of unlabeled text, such as BERT (Devlin et al., 2019). Data inequity over the vast range of the world’s languages has led efforts to …

Content truncated to 500 words