Investigating Productive and Receptive Knowledge: A Profile for Second Language Learning

Proceedings of the 27th International Conference on Computational Linguistics, pages 3467–3478 Santa Fe, New Mexico, USA, August 20-26, 2018. 3467 Investigating Productive and Receptive Knowledge: A Profile for Second Language Learning Leonardo Zilio Rodrigo Wilkens Centre de Traitement Automatique du Langage (Cental) Universit´e Catholique de Louvain (UCL), Belgium {leonardo.zilio,rodrigo.wilkens,cedrick.fairon}@uclouvain.be C´edrick Fairon Abstract The literature frequently addresses the differences in receptive and productive vocabulary, but grammar is often left unacknowledged in second language acquisition studies. In this paper, we used two corpora to investigate the divergences in the behavior of pedagogically relevant gram- matical structures in reception and production texts. We further improved the divergence scores observed in this investigation by setting a polarity to them that indicates whether there is overuse or underuse of a grammatical structure by language learners. This led to the compilation of a language profile that was later combined with vocabulary and readability features for classifying reception and production texts in three classes: beginner, intermediate, and advanced. The results of the automatic classification task in both production (0.872 of F-measure) and reception (0.942 of F-measure) were comparable to the current state of the art. We also attempted to automatically attribute a score to texts produced by learners, and the correlation results were encouraging, but there is still a good amount of room for improvement in this task. The developed language pro- file will serve as input for a system that helps language learners to activate more of their passive knowledge in writing texts. Title and Abstract in Portuguese Investigac¸˜ao de Conhecimento Produtivo e Receptivo: Um perfil de aprendizado de segunda l´ıngua A literatura de aquisic¸˜ao de segunda l´ıngua frequentemente aborda diferenc¸as no vocabul´ario produtivo (que um aprendiz consegue utilizar em textos) e receptivo (que um aprendiz consegue entender em textos) de um aprendiz de l´ıngua, mas as estruturas gramaticais normalmente n˜ao s˜ao investigadas nesse n´ıvel. Neste trabalho, usamos dois corpora para investigar as divergˆencias nas ocorrˆencias de estruturas gramaticais pedagogicamente relevantes em textos de produc¸˜ao e recepc¸˜ao. Os valores de divergˆencia observados foram incrementados com a atribuic¸˜ao de uma polaridade que indica um sobreuso ou subuso de uma estrutura gramatical por aprendizes de l´ıngua. Essa investigac¸˜ao levou `a compilac¸˜ao de um perfil de linguagem voltado ao aprendizado de segunda l´ıngua que posteriormente foi combinado com informac¸˜oes lexicais e de legibilidade para uma classificac¸˜ao de textos de produc¸˜ao e recepc¸˜ao em trˆes categorias: iniciante, inter- medi´ario e avanc¸ado. Os resultados da classificac¸˜ao autom´atica tanto de textos de produc¸˜ao (medida F de 0,872) quanto de recepc¸˜ao (medida F de 0,942) foram compar´aveis ao atual estado da arte. Tamb´em realizamos um experimento para atribuir automaticamente uma nota aos tex- tos produzidos por aprendizes, e os resultados da correlac¸˜ao foram encorajadores, mas mostram que ainda h´a muitas lacunas a serem supridas e quest˜oes em aberto para a realizac¸˜ao da tarefa, especialmente no que diz respeito `a subjetividade envolvida na atribuic¸˜ao de notas. O perfil de linguagem apresentado servir´a como base para um sistema de aux´ılio `a ativac¸˜ao de conhecimento receptivo …

Content truncated to 500 words