DIDEC: The Dutch Image Description and Eye-tracking Corpus

Proceedings of the 27th International Conference on Computational Linguistics, pages 3658–3669 Santa Fe, New Mexico, USA, August 20-26, 2018. 3658 DIDEC: The Dutch Image Description and Eye-tracking Corpus Emiel van Miltenburg Vrije Universiteit Amsterdam Emiel.van.Miltenburg@vu.nl ´Akos K´ad´ar Tilburg University A.Kadar@tilburguniversity.edu Ruud Koolen Tilburg University R.M.F.Koolen@tilburguniversity.edu Emiel Krahmer Tilburg University E.J.Krahmer@tilburguniversity.edu Abstract We present a corpus of spoken Dutch image descriptions, paired with two sets of eye-tracking data: free viewing, where participants look at images without any particular purpose, and descrip- tion viewing, where we track eye movements while participants produce spoken descriptions of the images they are viewing. This paper describes the data collection procedure and the corpus itself, and provides an initial analysis of self-corrections in image descriptions. We also present two studies showing the potential of this data. Though these studies mainly serve as an exam- ple, we do find two interesting results: (1) the eye-tracking data for the description viewing task is more coherent than for the free-viewing task; (2) variation in image descriptions (also called image specificity; Jas and Parikh, 2015) is only moderately correlated across different languages. Our corpus can be used to gain a deeper understanding of the image description task, particularly how visual attention is correlated with the image description process. Title and Abstract in Dutch DIDEC: Een corpus van afbeeldingen met Nederlandstalige beschrijvingen en eye-tracking data Wij presenteren DIDEC, een corpus van foto’s met gesproken Nederlandse beschrijvingen en twee verschillende soorten eye-tracking data: ofwel verzameld tijdens het beschrijven van de afbeeldingen, ofwel verzameld terwijl de proefpersonen alleen maar keken naar de afbeeldingen (zonder ze te hoeven beschrijven). Dit artikel beschrijft de dataverzameling, alsook een eerste analyse van de zelf-correcties in de beschrijvingen. Daarnaast beschrijven we twee voorbeeld- studies om aan te geven wat er mogelijk is met DIDEC. Deze studies geven twee interessante resultaten: (1) de eye-tracking data verzameld tijdens het beschrijven van de afbeeldingen is eenduidiger dan de data verzameld tijdens het bekijken van de afbeeldingen; (2) de variatie in de beschrijvingen voor iedere afbeelding (ook wel afbeeldingsspecificiteit genoemd; Jas and Parikh, 2015) is slechts matig gecorreleerd tussen verschillende talen (Duits, Nederlands, Engels). Ons corpus kan gebruikt worden om beter te begrijpen hoe mensen afbeeldingen beschrijven, en in het bijzonder wat de rol is van visuele aandacht op het beschrijvingsproces. 1 Introduction Automatic image description is a task at the intersection of Computer Vision (CV) and Natural Language Processing (NLP). The goal is for machines to automatically produce natural language descriptions for any image (Bernardi et al., 2016). The field of automatic image description saw an explosive growth in 2014 with the release of the Flickr30K and MS COCO datasets: two corpora of images collected from Flickr, with 5 crowd-sourced descriptions per image (Young et al., 2014; Lin et al., 2014). These resources enabled researchers to train end-to-end systems that automatically learn a mapping between images and text (Vinyals et al., 2015), but also to better understand how humans describe images (e.g., This work is licensed under a Creative Commons Attribution …

Content truncated to 500 words