Biais de genre dans un système de traduction automatique neuronale : une étude des mécanismes de transfert cross-langue [Gender bias in a neural machine translation system: a study of crosslingual transfer mechanisms]

Biais de genre dans un système de traduction automatique neuronale : une étude des mécanismes de transfert cross-langue Guillaume Wisniewski* — Lichao Zhu* — Nicolas Ballier** — François Yvon*** * LLF, Université Paris Cité & CNRS , 75 013, Paris France ** CLILLAC-ARP, Université Paris Cité, 75 013, Paris France *** Université Paris-Saclay & CNRS, LISN, 91 403, Orsay France RÉSUMÉ. Cet article a pour objectif de mettre en évidence les biais de genre dans les systèmes de traduction automatique et de rechercher leurs causes en étudiant les différentes manières dont l’information de genre peut circuler entre le décodeur et l’encodeur. Pour cela, nous décrivons un corpus minimal et contrôlé pour mesurer l’intensité de ces biais dans les traductions de l’anglais vers le français et du français vers l’anglais. Grâce à des méthodes de sondage et des interventions sur les représentations internes de l’encodeur, nos expériences montrent que l’information de genre est distribuée sur l’ensemble des représentations des tokens sources et cibles et que la sélection du genre en langue cible résulte d’une multiplicité d’interactions entre les diverses unités impliquées dans la traduction. ABSTRACT. This paper describes a study on gender bias in French/English neural machine trans- lation (MT) systems. We introduce a controlled corpus to measure the intensity of such biases in the two translation directions (from and into English). This corpus also allows us to investigate the information flow in a encoder-decoder architecture and to identify how gender information can be transfered between languages. Considering both probing as well as interventions on the internal representations of the MT system, we show that gender information is encoded in all token representations built by the encoder and the decoder and that there are multiple paths to transfer gender. MOTS-CLÉS : biais de genre, traduction automatique neuronale, évaluation diagnostique en TAL. KEYWORDS: Gender bias, Neural Machine Translation, Diagnostic Evaluation in NLP. TAL. Volume 63 – n° 1/2022, pages 37 à 61 38 TAL. Volume 63 – n° 1/2022 1. Introduction Il est largement admis (Callison-Burch et al., 2006 ; Balvet, 2020) que les mé- triques automatiques telles que les scores BLEU ou METEOR sont inadaptées pour rendre compte des progrès de la qualité des traductions automatiques (TA) prédites par les systèmes neuronaux. Partant de ce constat, plusieurs protocoles ont été récem- ment proposés pour évaluer plus finement la traduction (Isabelle et al., 2017 ; Burlot et Yvon, 2017 ; Burlot et Yvon, 2018). Ces protocoles reposent sur l’utilisation de jeux de tests élaborés (manuellement ou automatiquement) pour confronter les systèmes de TA à des problèmes de traduction spécifiques et bien caractérisés. Les limitations de la traduction automatique ne se réduisent pas à leur incapacité à prendre en charge certains phénomènes linguistiques. Un autre problème important est l’existence de biais systématiques, en particulier de genre. Sous cette appellation, il faut distinguer plusieurs comportements problématiques : (a) le fait que des erreurs de traduction sont plus fréquentes pour des énoncés qui mettent en scène des actants de genre féminin; (b) le fait que …

Content truncated to 500 words