论文部分内容阅读
摘 要： 多模态教学对于英语教学的益处是显而易见的。而从硬件层面，真正在大学课堂中用多模态教学是难度较高的一项任务。本文试图利用移觉理论，间接达到多模态的效果，称其为“类多模态”，力图在听力教学中达到新境界。
关键词： 听力教学 移觉 “类多模态”
1.引言
移觉亦称通感，这是一个跨学科的术语。首先，它是一种生理现象：身体某一部分受到刺激而于其他部分所产生的感觉；继而是一种心理现象：某一感官所受的刺激给另一感官所带来的主观感受。上述生理现象和心理现象从属于认知过程，表现在语言的创造和运用中，移觉亦为修辞，有学者认为其可视为一种隐喻（汪少华，2001），并回归认知角度阐述道：移觉并不是词汇特征之间的相似性联想，而是感官之间特征的相似性心理联想。
早在公元前三世纪，柏拉图就注意到诸如“白”与“热”，“黑”与“冷”之间存在的对应关系了（Ullmann，1957：268）。乌尔曼（Ullmann，1964：86）在他的调查结果中将6种感官依次排列为：触觉、温觉、味觉、嗅觉、听觉、视觉。他发现文学作品中2000个移觉例子有80%呈向上的等级分布，即感觉的移动方向主要为由较低级向较高级、较简单向较复杂。而反向挪移的只占六分之一多（Ullmann，1957：277-284）。我国学者在90年代通过对集中主要东西方语言通感现象的调查、对比和分析，论证了通感是全人类所共有的一种生理现象（李国南，1996）。无论这种挪移是正向或反向都证明6种感官两两之间的联系是存在的。
而感官（如听觉、视觉等）与外部环境之间的互动方式称之谓模态（顾曰国，2007：3-5）。纵观传统听力教学模式，只调动听觉获取信息属于单模态学习即从听觉到理解并没有发生模态转变；而近年来，多媒体在听力和视听说教学中的使用，使学习扩展到双模态（视觉和听觉）。但严格说来，在此基础上达到所谓的“多模态”学习形式则难度相当大，这有点类似于4D电影，鉴于现有的硬软件基础及移觉理论研究的相对成熟并加以运用是可以争取进入“类模态化”教学这个层面。即在教学过程中，只有刺激听觉、视觉两种感官进行认知过程，在无条件刺激触觉、温觉、味觉、嗅觉的情况下，由于感官两两之间的联系（如“黑”与“冷”是视觉与触觉的联系），可以达到“类多模态”的效果。
“多模态”之所以近年来成为热议话题，是因为其有实际应用的价值。本文试图揭示移觉在听力“类多模态”过程中的辅助作用及从属规则。
2.“类多模态”听力教学的必然
2.1“类多模态”较于“双模态”（视听结合）的优势
研究表明，当学习者得到视觉和听觉的刺激后能显著地提高对目标语的理解（Baltoves，1994）。信息的呈现方式对于我们获取和处理信息会产生很大影响（顾曰国，2007）。如今的听力教学已进入视听结合的成熟阶段，信息的呈现方式是视听双模态。较之前的听觉单模态输入，可使更多的输入变得有效和易于理解及记忆。
但视听双模态仍可以拓展使用。目前的视听大多集中于音频及文字，还有相关的同步视频，如新闻事件播报中相关视频、情景对话等，且视觉接受的刺激多为文字和视频为听觉所受刺激（音频）理解服务，而在针对某一难点词汇或表达所呈现的互动过程就显得不那么生动、形象、简洁，易于理解了。一方面是为完成学习者与语言点之间的互动，单独做一个视频或音频或两者结合的材料，耗时费力，往往采取直接讲述，这就忽视了学生是否能长久记忆和深刻理解的内化需求。另一方面主观上的认识不够，模态转换可以拓展学生对知识的内化程度，增进理解，强化记忆，借助移觉产生的“类多模态”同样可以，比直接讲述更生动。例用红色显示“hot pot”，或用红色辣椒显示出“hot”字样，再结合辣的嗞嗞声，第一次接触此单词的学生就会留下深刻的记忆，并且词义的记忆准确度也会提高。
2.2“类多模态”的可行性
人类的认知从婴儿时期就开始了，由最先的触觉、听觉、味觉、嗅觉，随着视觉神经的逐渐完善，从而完成对这个世界感知的所有渠道。对于成年学生来说，已具备一定的认知阅历，他们的认知图式已成网状结构。移觉的存在使得“类多模态”成为可能。
例如：图片 所示，涉及的心理词汇是与“热”“烫”相关的概念。橙色块会与“酸”的概念相通，不同的颜色有各自的心理解读：红色—热情，黑色—悲伤，紫色—神秘，等等；不同的视觉符号因其在生活中常见，早已形成通识：“X”表示“禁止”，“拒绝”和“关闭”，字母x或ex词缀也表示此意；“F”开头的单词多有“流动”的含义，可用比较形象的飘扬的旗帜代替，可释义“流感，流动，闪动，影响”这类词。
上述例子视觉联通触觉、味觉及一些抽象的概念，音频也能释义具体事物：西方幼教音乐启蒙时，老师并不注重技巧而是音乐的表达力，往往会弹一段轻快和一段沉重的曲子，让学生一猜哪段是表现云雀，哪段是表现大象。这种方式还可以借鉴到表情绪，或状态的词汇释义，如awkward，condemn，clumsy，placid等。
综上所述，“类多模态”有存在的合理性，也有存在的基础，现有的多媒体网络技术加上以学生为中心的理念，“类多模态”必然渗透到英语教学的各个层面，听力为最。
3.“类多模态”听力教学设计应遵循的规则
3.1以“听”为先原则
根据Anderson（1995）的认知心理学理论，听力理解过程可以分为三个阶段：感知（perception）、解析（parsing）和运用（utilization）。听者保持对语音输入的注意，将接受的声音符号储存在感觉记忆中，经过筛选后，一部分声音信号进入短时记忆进行加工处理。这一阶段突出了音素切分和音素辨音问题。
所以，在初次听音阶段不要出现中文释义，不推荐传统的预备阶段让学生先看生词再是读音然后是词意的认知顺序，这样与生活中实际的听力理解顺序不同。实际的情况是，音—义。可以把有难度生词或新短语的音频事先放几遍，这里的难度是应以学生对其音的熟悉程度为准，即是否能以音辩意，不能以看到拼写知道词义为标准，这一步的筛选尤为重要。 3.2同化原则
同化策略（assimilation strategies）是Weistein和Mayer在1986年提出的精致策略的一种形式。认知心理学认为，新学习的知识必须纳入原有的认知结构，并在原有的知识结构中找到连接点，才能将新知识同化，才能牢固地掌握知识。其实同化策略来源于1960年Ausubel提出的学习同化理论，他把新知识比作刚驶进港湾的船，把头脑中原有的旧知识比作锚桩。
经过筛选，教学的难点明了后，在教学设计中遵循同化原则，在学生已有的知识图式基础上，减轻听力理解的负担，争取在最短时间内领会词意。如出现热情“enthusiasm”的音频时，教师可以用简洁的英语提示是一种情感状态，与“cool和calm”相反，与“exited”是近义词。同时在屏幕上打上两个色块——红与蓝，让学生根据所得语境与提示选择。“红”与热情之间的联系原本就存在，上述教学过程，把学生不大熟悉的“enthusiasm”的音频纳入“红”所代表的热情的认知图式。这样的音—意的链接，与平时用母语交流的过程是一样的。借助移觉是为了使之链接的过程更加迅速，从而在理解过程中减轻负担。同理，radical一词可用快速闪烁的红色块达意，sentimental亦可用蓝色表示，因为蓝调音乐即是“忧郁”，这一认知在大学生中早已固有化了。教学在某些阶段担负的是拓展和完善学生已有认知结构的任务，帮助他们“温故而知新”。
3.3简洁原则
由上可知，移觉则可迅速地把船锚在锚上。在制作多媒体课件时，文不如表，表不如图，呈现关键是一贯的原则。这一原则的实质是简洁。信息获取的渠道很多：触觉、温觉、味觉、嗅觉、听觉、视觉。感知世界的过程是从直观直接的渠道开始的，例如，在婴幼儿启蒙阶段，有一种可触摸的小画书，在猫的轮廓中充满安全环保的人造纤维让孩子感受到“毛”及“毛茸茸”的概念，这比任何文字或语言的解释都要简洁和易于接受。在讲解vague时，只要将音频与一帧影像——雨水打湿的玻璃，同时显示。词意是抽象的，而用移觉又能直观地表达意义；用淡暖色块或一家人聚在壁炉前的场景表达“cosy”，用一段激进的乐曲释义“radical”，用橙色释义“sour”或“acid”，等等。
3.4参与原则
本杰明·富兰克林的名言：“Tell me，I’ll forget.Teach me，I’ll remember.Involve me and I’ll learn.”这就是在教学中长用到的以学生为中心的策略。如上述，在释义时可以给出2—3个意义选择，原则上不使用文字，利用图、表、音乐、色彩等简洁表达，让学生选择。选项的难易度要把握好，目的是帮助学生建立起词的读音与意义之间的联系，并非以考查为目的。如在揭示“explicit”（与answer搭配）一词意义的时候，可与学过的“ambiguous”两者的读音放在一起演示，截取一段镜头，聚焦由模糊至清晰，模糊时播放“ambiguous”的读音，清晰时播放“explicit”的读音；也可用简单的“clear”读音与画质清晰的图画做提示。也可以在授课告一段落后，请学生做一个猜词游戏，即不能直接说出词意、词的读音，可借助手势，现场制作的简图、彩图或其他形式的语音解释，向同伴解释分配到的词汇，以这种集体参与的方式复习，往往可收到很好的效果。
4.结语
本文探讨了移觉在听力教学中的运用，目的是尽力达到“类多模态”的效果，从而尝试用最有效简洁的信息呈现方式固化词的音和所对应的义，尽量缩短学生对音频转为意义的信息处理时间。本质上移觉是隐喻的一种，应纳入隐喻与英语教学的范畴，由于隐喻是人类的思维方式，与外语教学相结合能够拓展英语课堂教学的模式及手段，以达到新的层面。
参考文献：
[1]Carroll，David.W.Psychology of Language.（3rd Edition）Foreign Language Teaching and Research Press Broojs/Cole/Thonson Learning Asia，2000.
[2]Lakoff，G.The Contemporary Theory of Metaphor to Appear.Metaphor and Thought（2nd Edition）.Cambridge University Press，1992.
[3]陈道明.当代隐喻理论研究若干问题探讨[J]外语与外语教学，2004（8）.
[4]顾曰国.多媒体、多模态学习剖析[J]，2007（2）.
[5]李毅，石磊.教学中的多模态隐喻——应用隐喻研究的新方向.外语电化教学，2010（5）.
[6]李国南.论“通感”的人类生理学共性.外国语，1996（3）.
[7]刘明.胡加圣.大学外语视听教材的多模态化设计构想及要求分析.外语电化教学，2011，总138期.
[8]刘振前.隐喻的文化认知本质与外语教学.外语与外语教学，2002（2）.
[9]汪少华.移觉的认知阐释.修辞学习 ， 2001（4）.
[10]汪少华.通感·联想·认知.现代外语，2002（2）.
关键词： 听力教学 移觉 “类多模态”
1.引言
移觉亦称通感，这是一个跨学科的术语。首先，它是一种生理现象：身体某一部分受到刺激而于其他部分所产生的感觉；继而是一种心理现象：某一感官所受的刺激给另一感官所带来的主观感受。上述生理现象和心理现象从属于认知过程，表现在语言的创造和运用中，移觉亦为修辞，有学者认为其可视为一种隐喻（汪少华，2001），并回归认知角度阐述道：移觉并不是词汇特征之间的相似性联想，而是感官之间特征的相似性心理联想。
早在公元前三世纪，柏拉图就注意到诸如“白”与“热”，“黑”与“冷”之间存在的对应关系了（Ullmann，1957：268）。乌尔曼（Ullmann，1964：86）在他的调查结果中将6种感官依次排列为：触觉、温觉、味觉、嗅觉、听觉、视觉。他发现文学作品中2000个移觉例子有80%呈向上的等级分布，即感觉的移动方向主要为由较低级向较高级、较简单向较复杂。而反向挪移的只占六分之一多（Ullmann，1957：277-284）。我国学者在90年代通过对集中主要东西方语言通感现象的调查、对比和分析，论证了通感是全人类所共有的一种生理现象（李国南，1996）。无论这种挪移是正向或反向都证明6种感官两两之间的联系是存在的。
而感官（如听觉、视觉等）与外部环境之间的互动方式称之谓模态（顾曰国，2007：3-5）。纵观传统听力教学模式，只调动听觉获取信息属于单模态学习即从听觉到理解并没有发生模态转变；而近年来，多媒体在听力和视听说教学中的使用，使学习扩展到双模态（视觉和听觉）。但严格说来，在此基础上达到所谓的“多模态”学习形式则难度相当大，这有点类似于4D电影，鉴于现有的硬软件基础及移觉理论研究的相对成熟并加以运用是可以争取进入“类模态化”教学这个层面。即在教学过程中，只有刺激听觉、视觉两种感官进行认知过程，在无条件刺激触觉、温觉、味觉、嗅觉的情况下，由于感官两两之间的联系（如“黑”与“冷”是视觉与触觉的联系），可以达到“类多模态”的效果。
“多模态”之所以近年来成为热议话题，是因为其有实际应用的价值。本文试图揭示移觉在听力“类多模态”过程中的辅助作用及从属规则。
2.“类多模态”听力教学的必然
2.1“类多模态”较于“双模态”（视听结合）的优势
研究表明，当学习者得到视觉和听觉的刺激后能显著地提高对目标语的理解（Baltoves，1994）。信息的呈现方式对于我们获取和处理信息会产生很大影响（顾曰国，2007）。如今的听力教学已进入视听结合的成熟阶段，信息的呈现方式是视听双模态。较之前的听觉单模态输入，可使更多的输入变得有效和易于理解及记忆。
但视听双模态仍可以拓展使用。目前的视听大多集中于音频及文字，还有相关的同步视频，如新闻事件播报中相关视频、情景对话等，且视觉接受的刺激多为文字和视频为听觉所受刺激（音频）理解服务，而在针对某一难点词汇或表达所呈现的互动过程就显得不那么生动、形象、简洁，易于理解了。一方面是为完成学习者与语言点之间的互动，单独做一个视频或音频或两者结合的材料，耗时费力，往往采取直接讲述，这就忽视了学生是否能长久记忆和深刻理解的内化需求。另一方面主观上的认识不够，模态转换可以拓展学生对知识的内化程度，增进理解，强化记忆，借助移觉产生的“类多模态”同样可以，比直接讲述更生动。例用红色显示“hot pot”，或用红色辣椒显示出“hot”字样，再结合辣的嗞嗞声，第一次接触此单词的学生就会留下深刻的记忆，并且词义的记忆准确度也会提高。
2.2“类多模态”的可行性
人类的认知从婴儿时期就开始了，由最先的触觉、听觉、味觉、嗅觉，随着视觉神经的逐渐完善，从而完成对这个世界感知的所有渠道。对于成年学生来说，已具备一定的认知阅历，他们的认知图式已成网状结构。移觉的存在使得“类多模态”成为可能。
例如：图片 所示，涉及的心理词汇是与“热”“烫”相关的概念。橙色块会与“酸”的概念相通，不同的颜色有各自的心理解读：红色—热情，黑色—悲伤，紫色—神秘，等等；不同的视觉符号因其在生活中常见，早已形成通识：“X”表示“禁止”，“拒绝”和“关闭”，字母x或ex词缀也表示此意；“F”开头的单词多有“流动”的含义，可用比较形象的飘扬的旗帜代替，可释义“流感，流动，闪动，影响”这类词。
上述例子视觉联通触觉、味觉及一些抽象的概念，音频也能释义具体事物：西方幼教音乐启蒙时，老师并不注重技巧而是音乐的表达力，往往会弹一段轻快和一段沉重的曲子，让学生一猜哪段是表现云雀，哪段是表现大象。这种方式还可以借鉴到表情绪，或状态的词汇释义，如awkward，condemn，clumsy，placid等。
综上所述，“类多模态”有存在的合理性，也有存在的基础，现有的多媒体网络技术加上以学生为中心的理念，“类多模态”必然渗透到英语教学的各个层面，听力为最。
3.“类多模态”听力教学设计应遵循的规则
3.1以“听”为先原则
根据Anderson（1995）的认知心理学理论，听力理解过程可以分为三个阶段：感知（perception）、解析（parsing）和运用（utilization）。听者保持对语音输入的注意，将接受的声音符号储存在感觉记忆中，经过筛选后，一部分声音信号进入短时记忆进行加工处理。这一阶段突出了音素切分和音素辨音问题。
所以，在初次听音阶段不要出现中文释义，不推荐传统的预备阶段让学生先看生词再是读音然后是词意的认知顺序，这样与生活中实际的听力理解顺序不同。实际的情况是，音—义。可以把有难度生词或新短语的音频事先放几遍，这里的难度是应以学生对其音的熟悉程度为准，即是否能以音辩意，不能以看到拼写知道词义为标准，这一步的筛选尤为重要。 3.2同化原则
同化策略（assimilation strategies）是Weistein和Mayer在1986年提出的精致策略的一种形式。认知心理学认为，新学习的知识必须纳入原有的认知结构，并在原有的知识结构中找到连接点，才能将新知识同化，才能牢固地掌握知识。其实同化策略来源于1960年Ausubel提出的学习同化理论，他把新知识比作刚驶进港湾的船，把头脑中原有的旧知识比作锚桩。
经过筛选，教学的难点明了后，在教学设计中遵循同化原则，在学生已有的知识图式基础上，减轻听力理解的负担，争取在最短时间内领会词意。如出现热情“enthusiasm”的音频时，教师可以用简洁的英语提示是一种情感状态，与“cool和calm”相反，与“exited”是近义词。同时在屏幕上打上两个色块——红与蓝，让学生根据所得语境与提示选择。“红”与热情之间的联系原本就存在，上述教学过程，把学生不大熟悉的“enthusiasm”的音频纳入“红”所代表的热情的认知图式。这样的音—意的链接，与平时用母语交流的过程是一样的。借助移觉是为了使之链接的过程更加迅速，从而在理解过程中减轻负担。同理，radical一词可用快速闪烁的红色块达意，sentimental亦可用蓝色表示，因为蓝调音乐即是“忧郁”，这一认知在大学生中早已固有化了。教学在某些阶段担负的是拓展和完善学生已有认知结构的任务，帮助他们“温故而知新”。
3.3简洁原则
由上可知，移觉则可迅速地把船锚在锚上。在制作多媒体课件时，文不如表，表不如图，呈现关键是一贯的原则。这一原则的实质是简洁。信息获取的渠道很多：触觉、温觉、味觉、嗅觉、听觉、视觉。感知世界的过程是从直观直接的渠道开始的，例如，在婴幼儿启蒙阶段，有一种可触摸的小画书，在猫的轮廓中充满安全环保的人造纤维让孩子感受到“毛”及“毛茸茸”的概念，这比任何文字或语言的解释都要简洁和易于接受。在讲解vague时，只要将音频与一帧影像——雨水打湿的玻璃，同时显示。词意是抽象的，而用移觉又能直观地表达意义；用淡暖色块或一家人聚在壁炉前的场景表达“cosy”，用一段激进的乐曲释义“radical”，用橙色释义“sour”或“acid”，等等。
3.4参与原则
本杰明·富兰克林的名言：“Tell me，I’ll forget.Teach me，I’ll remember.Involve me and I’ll learn.”这就是在教学中长用到的以学生为中心的策略。如上述，在释义时可以给出2—3个意义选择，原则上不使用文字，利用图、表、音乐、色彩等简洁表达，让学生选择。选项的难易度要把握好，目的是帮助学生建立起词的读音与意义之间的联系，并非以考查为目的。如在揭示“explicit”（与answer搭配）一词意义的时候，可与学过的“ambiguous”两者的读音放在一起演示，截取一段镜头，聚焦由模糊至清晰，模糊时播放“ambiguous”的读音，清晰时播放“explicit”的读音；也可用简单的“clear”读音与画质清晰的图画做提示。也可以在授课告一段落后，请学生做一个猜词游戏，即不能直接说出词意、词的读音，可借助手势，现场制作的简图、彩图或其他形式的语音解释，向同伴解释分配到的词汇，以这种集体参与的方式复习，往往可收到很好的效果。
4.结语
本文探讨了移觉在听力教学中的运用，目的是尽力达到“类多模态”的效果，从而尝试用最有效简洁的信息呈现方式固化词的音和所对应的义，尽量缩短学生对音频转为意义的信息处理时间。本质上移觉是隐喻的一种，应纳入隐喻与英语教学的范畴，由于隐喻是人类的思维方式，与外语教学相结合能够拓展英语课堂教学的模式及手段，以达到新的层面。
参考文献：
[1]Carroll，David.W.Psychology of Language.（3rd Edition）Foreign Language Teaching and Research Press Broojs/Cole/Thonson Learning Asia，2000.
[2]Lakoff，G.The Contemporary Theory of Metaphor to Appear.Metaphor and Thought（2nd Edition）.Cambridge University Press，1992.
[3]陈道明.当代隐喻理论研究若干问题探讨[J]外语与外语教学，2004（8）.
[4]顾曰国.多媒体、多模态学习剖析[J]，2007（2）.
[5]李毅，石磊.教学中的多模态隐喻——应用隐喻研究的新方向.外语电化教学，2010（5）.
[6]李国南.论“通感”的人类生理学共性.外国语，1996（3）.
[7]刘明.胡加圣.大学外语视听教材的多模态化设计构想及要求分析.外语电化教学，2011，总138期.
[8]刘振前.隐喻的文化认知本质与外语教学.外语与外语教学，2002（2）.
[9]汪少华.移觉的认知阐释.修辞学习 ， 2001（4）.
[10]汪少华.通感·联想·认知.现代外语，2002（2）.