Encodage de la distance et coopération parole/geste : étude développementale du pointage multimodal (Distance encoding and speech/gesture cooperation : a developmental study on multimodal pointing) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 681–688, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP Encodage de la distance et coopération parole/geste : étude développementale du pointage multimodal Chloe Gonseth1 Coriandre Vilain1 Anne Vilain1 (1) Gipsa-Lab, 11, rue des Mathématiques, Grenoble Campus BP46 38402 St Martin D’Hères Cedex chloe.gonseth@gipsa-lab.grenoble-inp.fr, coriandre.vilain@gipsa-lab.grenoble-inp.fr, anne.vilain@gipsa-lab.grenoble-inp.fr RÉSUMÉ Cette étude expérimentale s’intéresse, via l’utilisation du processus déictique, à l’interaction des systèmes parole/geste, et ce au cours du développement langagier. Les participants, adultes et enfants, avaient pour tâche de désigner, par un geste et/ou un mot de pointage, un objet cible, pouvant être proche ou lointain. L’utilisation conjointe ou indépendante des deux modalités déictiques, parole et geste, nous a permis de mettre en évidence une coopération entre ces deux systèmes, qui sont utilisés de manière complémentaire plutôt que redondante. Nos résultats sont également en faveur d’un encodage de la distance de l’objet pointé, non seulement par les indices articulatoires de la parole, mais aussi par les indices cinématiques du geste manuel. ABSTRACT Distance encoding and speech/gesture cooperation : a developmental study on multimo- dal pointing The aim of this paper is to characterize, through the deictic process use, the speech/gesture interaction during language developement. Participants, both adults and children, had to de- signate with a deictic word and/or a deictic gesture a target, which could be either close or distant. The use of two vs one modality (speech and gesture) allowed us to attest a cooperation between the two systems, which take place in a complementary rather than redundant way. Fur- thermore, our results are attesting that distance can be encoded not only in articulatory cues of vocal pointing, but also in kinematic cues of manual pointing. MOTS-CLÉS : Interaction parole/geste ; Pointage déictique ; Encodage de la distance ; Dévelop- pement. KEYWORDS: Speech/gesture interaction ; Deictic pointing ; Distance encoding ; Development. 1 Introduction Cette étude, basée sur le processus particulier qu’est la deixis spatiale, s’intéresse au rôle du couple parole/geste au cours du développement de la communication langagière. La deixis est une capacité qui nous permet, dès le plus jeune âge, d’attirer l’attention de notre interlocuteur vers un objet ou évènement particulier, et de partager ainsi diverses informations (localisation spatiale notamment). Sa particularité réside en sa multimodalité, puisqu’au-delà de la seule utilisation du système vocal ou du système gestuel, on trouve bien souvent une com- 681 binaison des deux. Ainsi, les gestes déictiques s’accompagnent souvent d’un terme déictique, tel que « here » ou « that » en anglais (Kendon, 2004). Le pointage déictique, universel et omnipré- sent dans les interactions quotidiennes, peut être considéré comme l’un des précurseurs de la communication référentielle, à la base du développement phylogénétique de la communication langagière humaine (Arbib, 2005). La présente étude se propose tout d’abord de caractériser, d’un point de vue ontogénétique, l’in- teraction parole/geste, en montrant qu’il s’agit d’une coopération entre deux modalités dépen- dantes l’une de l’autre. D’autre part, nous souhaitons mettre en évidence un encodage spécifique …

Content truncated to 500 words