Investigating associative, switchable and negatable Winograd items on renewed French data sets

Investigating associative, switchable and negatable Winograd items on renewed French data sets Xiaoou Wang1 Olga Seminck2 Pascal Amsili2 (1) CENTAL, Place Montesquieu 3, 1348 Louvain-la-Neuve, Belgium (2) Lattice, 1 rue Maurice Arnoux, 92120 Montrouge, France xiaoouwangfrance@gmail.com, olga.seminck@cnrs.fr, pascal.amsili@ens.fr RÉSUMÉ Le Winograd Schema Challenge (WSC) regroupe des problèmes de résolution d’anaphore nécessitant un raisonnement sur les connaissances du monde. Cet article décrit la mise à jour des items français existants et la création de trois sous-ensembles permettant une évaluation plus robuste et plus fine du WSC en français (FWSC) : un sous-ensemble associatif (items pouvant être résolus avec de la simple co-occurrence lexicale), un sous-ensemble commutable (items où l’inversion de mots-clés inverse la réponse) et un sous-ensemble niable (items où l’application d’une négation inverse la réponse). Sur ce jeu de données, nous obtenons des performances SOTA grâce à l’utilisation de CamemBERT. Notre protocole d’évaluation montre par ailleurs que cette performance peut être expliquée par l’existence d’items associatifs et que si augmenter la taille du corpus d’entraînement améliore la capacité du modèle à traiter les items commutés, cela affecte peu la performance sur les items niés. ABSTRACT The Winograd Schema Challenge (WSC) consists of a set of anaphora resolution problems resolvable only by reasoning about world knowledge. This article describes the update of the existing French data set and the creation of three subsets allowing for a more robust, fine-grained evaluation protocol of WSC in French (FWSC) : an associative subset (items easily resolvable with lexical co-occurrence), a switchable subset (items where the inversion of two keywords reverses the answer) and a negatable subset (items where applying negation on its verb reverses the answer). Experiences on these data sets with CamemBERT reach SOTA performances. Our evaluation protocol showed in addition that the higher performance could be explained by the existence of associative items in FWSC. Besides, increasing the size of training corpus improves the model’s performance on switchable items while the impact of larger training corpus remains small on negatable items. MOTS-CLÉS : Schémas Winograd, connaissances du monde, inférence automatique, négation, français, CamemBERT. KEYWORDS: Winograd Schema Challenge, world knowledge, commonsense reasoning, negation, French, CamemBERT. 1 Introduction A Winograd schema (Levesque, 2011) consists of two anaphora resolution problems (items) differing by two keywords (successful/available in (1)) which change the answer to a question targeting the Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles Avignon, France, 27 juin au 1er juillet 2022 Volume 1 : conférence principale, pages 136–143. Cette œuvre est mise à disposition sous licence Attribution 4.0 International. referent (Paul and George) of an ambiguous anaphor (he). A Winograd item is supposed to be Google-proof or non associative, meaning that it should be insensitive to simple statistics such as lexical co-occurrence 1. The idea behind this challenge is that if a system is capable of solving these schemas, it should be capable of commonsense reasoning and hence, could be called “intelligent”. (1) Paul tried to call George on the phone, but he wasn’t successful/available. Question : Who wasn’t …

Content truncated to 500 words