An Analysis of Annotated Corpora for Emotion Classification in Text

Proceedings of the 27th International Conference on Computational Linguistics, pages 2104–2119 Santa Fe, New Mexico, USA, August 20-26, 2018. 2104 An Analysis of Annotated Corpora for Emotion Classification in Text Laura-Ana-Maria Bostan and Roman Klinger Institut f¨ur Maschinelle Sprachverarbeitung University of Stuttgart, Pfaffenwaldring 5b, 70569 Stuttgart, Germany laura.bostan@ims.uni-stuttgart.de roman.klinger@ims.uni-stuttgart.de Abstract Several datasets have been annotated and published for classification of emotions. They differ in several ways: (1) the use of different annotation schemata (e. g., discrete label sets, including joy, anger, fear, or sadness or continuous values including valence, or arousal), (2) the domain, and, (3) the file formats. This leads to several research gaps: supervised models often only use a limited set of available resources. Additionally, no previous work has compared emotion corpora in a systematic manner. We aim at contributing to this situation with a survey of the datasets, and aggregate them in a common file format with a common annotation schema. Based on this aggregation, we perform the first cross-corpus classification experiments in the spirit of future research enabled by this paper, in order to gain insight and a better understanding of differences of models inferred from the data. This work also simplifies the choice of the most appropriate resources for developing a model for a novel domain. One result from our analysis is that a subset of corpora is better classified with models trained on a different corpus. For none of the corpora, training on all data altogether is better than using a subselection of the resources. Our unified corpus is available at http://www.ims.uni-stuttgart.de/data/unifyemotion. Title and Abstract in German Eine Analyse von annotierten Korpora zur Emotionsklassifizierung in Text Es existieren bereits verschiedene Textkorpora, welche zur Erstellung von Modellen f¨ur die automatische Emotionsklassifikation erstellt wurden. Sie unterscheiden sich (1) in den unter- schiedlichen Annotationsschemata (z.B. diskrete Klassen wie Freude, Wut, Angst, Trauer oder kontinuierliche Werte wie Valenz und Aktivierung), (2) in der Dom¨ane, und, auf einer technischen Ebene, (3) in den Dateiformaten. Dies f¨uhrt dazu, dass ¨uberwacht erstellte Modelle typischerweise nur einen Teil der verf¨ugbaren Ressourcen nutzen sowie kein systematischer Vergleich der Korpora existiert. Hier setzt unsere Arbeit mit einem ¨Uberblick der verf¨ugbaren Datens¨atze an, welche wir in ein gemeinsames Format mit einem einheitlichen Annotationsschema konvertieren. Darauf aufbauend f¨uhren wir erste Experimente durch, in dem wir auf Teilmengen der Korpora trainieren und auf anderen testen. Dies steht im Sinne zuk¨unftiger, durch unsere Arbeit erm¨oglichten Analy- sen, die Unterschiede zwischen den Annotationen besser zu verstehen. Des Weiteren vereinfacht dies die Wahl einer angemessenen Ressource f¨ur die Erstellung von Modellen f¨ur eine neue Dom¨ane. Wir zeigen unter anderem, dass die Vorhersagen f¨ur einige Korpora besser funktioniert, wenn ein Modell auf einer anderen Ressource trainiert wird. Weiterhin ist f¨ur kein Korpus die Vorhersage am besten, wenn alle Daten vereint werden. Unser aggregiertes Korpus ist verf¨ugbar unter http://www.ims.uni-stuttgart.de/data/unifyemotion. This work is licenced under a Creative Commons Attribution 4.0 International Licence. Licence details: http:// creativecommons.org/licenses/by/4.0/ 2105 1 Introduction Emotion detection and classification in text focuses on mapping words, sentences, and documents to …

Content truncated to 500 words