论文部分内容阅读
视频和音频两个模态的信息在交际过程中起着至关重要的作用，本研究关注的问题是情感表达中不同文化背景的听者对情感的感知(解码)与这两个模态(面部表情和情感声音)的关系。发音人为中国人，录制她的5个语句的7种情感(6种基本情感+中性情感)的音频和面部表情，制作三类刺激：只有音频信息(A-only)、只有面部视频信息(V-only)以及视频和音频同步信息(AV-Congruent)。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现，面部视频信息的加入有益于情感的感知，视频和音频信息在跨文化的情感解码中起着不同的作用，与情感的唤醒度arousal有密切的关系，相关距离空间分布模式说明听辨结果具有稳定性，跨文化的情感感知存在普遍的心理基础。