A Nontrivial Sentence Corpus for the Task of Sentence Readability Assessment in Portuguese

Proceedings of the 27th International Conference on Computational Linguistics, pages 401–413 Santa Fe, New Mexico, USA, August 20-26, 2018. 401 A Nontrivial Sentence Corpus for the Task of Sentence Readability Assessment in Portuguese Sidney Evaldo Leal sidleal@gmail.com Magali Sanches Duran magali.duran@uol.com.br Sandra Maria Aluísio sandra@icmc.usp.br Institute of Mathematical and Computer Sciences - University of São Paulo Av. do Trabalhador Saocarlense, 400, São Carlos - SP - Brazil Abstract Effective textual communication depends on readers being proficient enough to com- prehend texts, and texts being clear enough to be understood by the intended audience, in a reading task. When the meaning of textual information and instructions is not well conveyed, many losses and damages may occur. Among the solutions to alleviate this problem is the automatic evaluation of sentence readability, task which has been recei- ving a lot of attention due to its large applicability. However, a shortage of resources, such as corpora for training and evaluation, hinders the full development of this task. In this paper, we generate a nontrivial sentence corpus in Portuguese. We evaluate th- ree scenarios for building it, taking advantage of a parallel corpus of simplification, in which each sentence triplet is aligned and has simplification operations annotated, being ideal for justifying possible mistakes of future methods. The best scenario of our corpus PorSimplesSent is composed of 4,888 pairs, which is bigger than a similar corpus for English; all the three versions of it are publicly available. We created four baselines for PorSimplesSent and made available a pairwise ranking method, using 17 linguistic and psycholinguistic features, which correctly identifies the ranking of sentence pairs with an accuracy of 74.2%. Title and Abstract in Portuguese Um Corpus Não Trivial de Sentenças para a Tarefa de Avaliação de Complexidade Sentencial em Português Uma comunicação textual eficaz depende de os leitores serem proficientes o suficiente para compreenderem o texto e de o texto ser claro o suficiente para ser compreendido pelo público-alvo, em uma tarefa de leitura. Quando o significado das informações e instruções textuais não é bem transmitido, muitas perdas e danos podem ocorrer. Entre as soluções para aliviar este problema está a avaliação automática da complexidade sen- tencial, tarefa que vem recebendo muita atenção devido a sua grande aplicabilidade. No entanto, a escassez de recursos, como corpora para treinamento e avaliação, dificulta o pleno desenvolvimento dessa tarefa. Neste artigo, geramos um corpus de sentenças não triviais em Português. Avaliamos três cenários para construí-lo, aproveitando um corpus paralelo de simplificação textual, no qual cada trio de sentenças está alinhado e possui operações de simplificação anotadas, sendo ideal para justificar possíveis erros de méto- dos futuros. O nosso melhor cenário do corpus PorSimplesSent é composto por 4.888 pares, que é maior que um corpus similar para o inglês; todas as três versões do corpus PorSimplesSent estão disponibilizadas publicamente. Criamos quatro métricas baselines para o PorSimplesSent e um método de ranqueamento por pares, utilizando 17 métricas linguísticas e psicolinguísticas, que identificam corretamente o ranqueamento dos pares de sentenças com uma …

Content truncated to 500 words