2022年12月,北京大学心理与认知科学学院易莉和陈立翰课题组在学术期刊《Developmental Science》发表题为“Increasing audiovisual speech integration in autism through enhanced attention to mouth”的论文。该研究发现,增加孤独症儿童对说话者嘴部的注视时间,可以提升孤独症儿童的视听言语整合,为干预孤独症儿童的视听言语整合提供了一定启示。

视听言语整合指把言语中的视觉刺激和听觉刺激整合成一个整体的过程。前人文献大多采用麦格克效应(McGurk effect;McGurk & MacDonald, 1976)来测量视听言语整合。麦格克效应指的是,当一个语音的声音与另一个语音的嘴部运动叠加在一起时,往往被感知为第三个语音(如“ba”的声音与 “ga”的嘴部运动叠加在一起往往被感知为“da”)。目前有一系列研究采用麦格克效应研究了孤独症个体的视听言语整合,元分析发现孤独症儿童的视听言语整合比正常儿童更弱(Zhang et al., 2019)。正常个体注视说话者嘴部时间越长,视听言语整合越强(Gurler et al., 2015)。易莉和陈立翰课题组2021年发表在Autism Research上的研究进一步发现,孤独症儿童对说话者嘴部较短的注视时间能预测其较弱的视听言语整合(Feng et al., 2021)。

在以往研究的基础上,本研究采用McGurk效应范式设计了两个实验,旨在通过一定的操纵,来增加孤独症儿童对说话者嘴部的注视时间,增强孤独症儿童的视听言语整合。实验一设置了说话者眼部清晰和眼部模糊两个条件,实验二设置了首注视点引导向嘴部、首注视点引导向眼部和自由观看三个条件。两个实验的实验流程分别见图a和图b。实验一发现,与说话者眼部清晰时相比,说话者眼部模糊时,孤独症儿童对说话者嘴部的注视时间更长(图c),视听言语整合和更强(图d)。实验二发现,与自由观看和首注视点引导向眼部相比,首注视点引导向嘴部时,孤独症儿童对说话者嘴部的注视时间更长(图e),视听言语整合更强(图f)。本研究表明,增加孤独症儿童对说话者嘴部的注视能增强他们的视听言语整合。本研究进一步揭示了孤独症儿童对说话者脸部注视和视听言语整合之间的关系,为开发干预孤独症儿童的视听言语整合的方案有一定启示。




图. 本研究的实验流程和实验结果。a为实验一说话者眼部模糊条件下每个试次的流程;b为实验二首注视点引导向说话者嘴部条件下每个试次的流程;c和d分别为实验一孤独症儿童在说话者眼部模糊和说话者眼部清晰时对说话者嘴部的注视时间和发生麦格克效应(即视听言语整合)的比例;e和f分别为孤独症儿童在首注视点引导向嘴部、首注视点引导向眼部和自由观看时对说话者嘴部的注视时间和发生麦格克效应(即视听言语整合)的比例。

易莉课题组已毕业博士冯树元(现在中南大学外国语学院任教)为论文的第一作者,易莉研究员和陈立翰副教授为本文的共同通讯作者。易莉课题组已毕业的王乾东博士(现在北京师范大学任教)、胡艺箫博士(现在郑州大学任教)、陆昊阳博士、李天碧博士、在读博士生宋词,也为本文做出了重要贡献。该研究由国家自然科学基金、广东省重点领域研发项目、湖南省自然科学基金、湖南省优秀青年项目等资助完成。

Feng, S., Wang, Q., Hu, Y., Lu, H., Li, T., Song, C., Fang, J., Chen, L., & Yi, L. (2022). Increasing audiovisual speech integration in autism through enhanced attention to mouth. Developmental Science, e13348. https://doi.org/10.1111/desc.13348


2022-12-09