The McGurk phenomenon in Italian listeners
L’effetto McGurk nell’ascoltatore italiano
R. Bovo, A. Ciorba, S. Prosser, A. Martini
Audiology and Phoniatrics Department, University Hospital of Ferrara, Ferrara, Italy
Summary
In the classic example of the McGurk effect, when subjects see a speaker say /ga/ and hear a simultaneous /ba/, they typically perceive /da/, a syllable that was not presented either acoustically, or visually. This phenomenon, although non-natural and recreated in laboratory investigations, has been studied in order to better understand how, where and when the central nervous system processes and integrates visual and auditory signals. Till now, it has been demonstrated for English, Spanish and German languages, while in Japanese and Chinese it seems weaker. Aim of this study was to evaluate the entity of the McGurk effect for the Italian language. Results obtained demonstrate a robust McGurk effect for the Italian language, which has never been described before. The phenomenon is highly significant when an auditory bilabial Consonant-Vowel is dubbed with a visual apico-dental or velar Consonant-Vowel. Results are discussed on the basis of the recent hypothesis regarding the bimodal perception.
Riassunto
Quando un soggetto vede la faccia di un parlante che articola una /ga/ e contemporaneamente sente la sillaba /ba/, la percezione più frequente è quella di una /da/, ovvero una sillaba che non è stata presentata né acusticamente, né visivamente. Questo è un classico esempio del fenomeno McGurk, che è stato a lungo studiato per capire meglio come, dove e quando il sistema nervoso centrale integra l’informazione uditiva con quella visiva. Sino ad oggi il fenomeno è stato dimostrato per l’inglese, lo spagnolo, ed il tedesco, mentre in giapponese e in cinese l’effetto è più debole. Scopo di questo lavoro era quello di valutare l’entità dell’effetto McGurk nella lingua italiana. I nostri risultati dimostrano un evidente effetto McGurk anche per la lingua italiana, particolarmente quando una consonante vocale bilabiale uditiva è doppiata con una consonante vocale apico-dentale o velare visiva. I risultati sono discussi sulla base di alcune recenti ipotesi sull’integrazione bimodale e sulle differenze inter-linguistiche.