Dynamique temporelle du liage dans la fusion de la parole audiovisuelle (Temporal dynamics of binding in audiovisual speech fusion) [in French]

Actes de la conférence conjointe JEP-TALN-RECITAL 2012, volume 1: JEP, pages 481–488, Grenoble, 4 au 8 juin 2012. c ⃝2012 ATALA & AFCP Dynamique temporelle du liage dans la fusion de la parole audiovisuelle Olha Nahorna, Frédéric Berthommier, Jean-Luc Schwartz GIPSA-Lab - DPC UMR 5216 –CNRS Uiversité de Grenoble Olha.Nahorna, Jean-Luc.Schwartz, Frederic.Berthommier@gipsa-lab.grenoble-inp.fr http://www.gipsa-lab.inpg.fr RESUME ____________________________________________________________________________________________________________ L’effet McGurk met en évidence le phénomène de fusion audiovisuelle : le montage d’un son « ba » avec une vidéo « ga » est souvent perçu comme « da ». Dans un travail précédent nous avons montré que la fusion audiovisuelle peut-être modulée par un processus de liage préalable (Nahorna et al., 2011, 2012). Dans ces expériences, un stimulus McGurk était précédé par un contexte audiovisuel cohérent ou incohérent (son correspondant ou non à la vidéo) et nous avons observé que dans le cas de contexte incohérent l’effet McGurk diminue. Cet effet se produit pour des contextes variant entre 3 et 10 secondes, sans effet significatif de la durée de contexte dans cette plage. Dans le travail actuel, nous étudions des durées de contexte plus courtes. Les résultats montrent qu’une seule syllabe est suffisante pour délier les flux auditif et visuel et produire une forte diminution de l’effet McGurk. ABSTRACT _________________________________________________________________________________________________________ Temporal dynamics of binding in audiovisual speech fusion The McGurk effect demonstrates the phenomenon of audiovisual fusion: a sound "ba" mounted on a video "ga" is often perceived as "da". In a previous work we showed that audiovisual fusion might be modulated by a precedent binding process (Nahorna et al., 2011, 2012). In these experiments a McGurk stimulus was preceded by an audiovisual coherent or incoherent context (sound corresponding or not to the video) and we observed a decrease of the McGurk effect in the incoherent context case. This effect occurs for contexts varying from 3 to 10 seconds, with no significant effect of the context duration in this range. In the present work we study shorter context durations. The results show that one syllable is sufficient to unbind the auditory and visual streams and to produce a strong decrease in the McGurk effect. MOTS-CLES : Effet McGurk, liage, fusion multisensorielle, perception de la parole audiovisuelle, analyse de scène audiovisuelle. KEYWORDS : McGurk effect, binding, multisensory fusion, audiovisual speech perception, audiovisual scene analysis. 1 Introduction Le signal visuel joue un rôle important dans la perception de la parole. L’effet “cocktail party” (Cherry, 1953), les gains d’intelligibilité dans le bruit grâce à la lecture labiale (Sumby et Pollack, 1954), l’effet McGurk (McGurk et McDonald, 1976) montrent bien l’influence de l’information visuelle sur la parole perçue. Jusqu’à présent il n’y a pas de consensus dans la communauté scientifique sur la convergence audiovisuelle et la vision classique considère que l’information des modalités différentes est extraite et traitée indépendamment avant convergence. Plusieurs architectures de fusion audiovisuelle sont proposées dans la littérature. Schwartz et al. (1998) les 481 résument en quatre catégories, selon l’existence et la nature d’une éventuelle représentation commune du son et de l’image. Campbell et …

Content truncated to 500 words