论文部分内容阅读
编者按：在信息化教学环境中，多媒体教材的知识是以画面形式呈现的，或者说是用“画面语言”写成的。随着信息化教学日益常态化，多媒体教材的制作与使用缺乏科学性、规范性的问题日渐凸现、亟待解决。
早在2002年，游泽清教授就在本刊率先提出了“多媒体画面语言”的概念。十年磨一剑，他本着高度的历史责任感和使命感，带领课题团队和研究生，进行了持之以恒的研究。这十年，他们曾误入歧途、也走过弯路，但他们从未放弃，从深入进行大量基础性的研究到终有灵光一闪，从点滴概念的明晰到学科体系的建立，今天，“多媒体画面语言学”终于系统、完整地与读者见面了。
本刊将分四期，按“画面语用学”、“画面语义学”、“画面语构学”和“多媒体画面语言学诞生过程”的顺序详加介绍，让多媒体教材在教育教学改革中的制作与应用更加有序、规范，绽放更加夺目的光彩。
研究多媒体画面艺术（或语言）已经10年了，能把这个问题弄明白真不容易！
记得2001年前后，当许多学校正热衷于从“美术”或“电脑美学”探索改善多媒体教材质量时，我们首次提出了“多媒体画面语言”的概念[1]，并且沿着这一思路走到今天，终于创建了“多媒体画面语言学”。这10年中，立过项目，组织过会战，获过奖励，也走过弯路。为了澄清一个误区、明确一个概念，往往需要经历几月，甚至几年的时间。现在回过头来总结一下，大体可以分为以下三个阶段。
● 提出“多媒体画面语言”概念（2001～2004年）
在这期间的研究工作是，借鉴传统艺术中画面语言的概念，揭示或深入认识“多媒体画面语言”的内涵。取得的成果主要体现在两个方面。
1.提出了“运动画面”的概念[2]
强调运动画面是基于屏幕呈现的画面，包括电视画面、电脑画面和多媒体画面三种类型。指出在多媒体教材中，是通过运动画面描述一个知识点或一个运动（变化）过程的。这就是说，组成多媒体教材的基本单位是运动画面，既不是（静止的）美术画面，也不仅仅是电脑画面。
2.明确了组成多媒体画面语言的基本元素(elements)
当时已能准确地指出，多媒体画面是通过四类媒体（图、像、文、声）传递知识信息的；多媒体教材是通过编辑、交互功能将这些画面组接起来的。在这期间发表了一系列文章[3] [4] [5] [6]，分别对这些基本元素进行了专题讨论。
当时出版的一本著作《多媒体画面艺术基础》[7]（简称《基础》），将这段期间的研究成果系统地表达了出来，可以认为该书的意义是，首次提出了“多媒体画面语言”(Language with Multimedia)的概念。这是研究“多媒体画面艺术”取得第一阶段的成果。
上述研究工作很快得到了教育部和社会的认可：
◇2003年，立项“全国教育科学十五‘规划’（教育部重点）课题”《多媒体教学资源中画面语言研究》；
◇2004年，“多媒体画面艺术基础”课程被教育部评为“国家级精品课程”；
◇2004年，“多媒体画面艺术基础”网络课程被教育部评为“国家级优秀网络课程”；
◇2004年，中国教育电视台“大学书苑”栏目专题报道了《多媒体画面艺术基础》一书，许多学校采用了该书作教材或教学参考书。
客观地讲，10年前形成的这些概念，今天看来并没有过时，只是更加深化或丰富了。
因此，对这一阶段的工作是应该肯定的。但是，用“弄明白多媒体画面语言”这个要求来衡量，只能算开了个好头，离最终目标还差距甚远。首先，虽然认识到了“视觉要素”，但是还没有看到它在产生画面艺术美感内在机理中的重要地位；其次，虽然意识到了“以形表义”是画面语言有别于文字语言的重要特征，但对画面语言是如何通过“形”来表现教学内容的还缺乏认识，更谈不上规律性的认识；特别是在规范画面语言的规则上，由于缺乏语言学的基础知识，以为只要搞清楚画面语言的语法就可以了。那时有一位语言学家（也是当时国家语委的领导）曾提醒我说：“光语法不够，应该把画面语言学搞出来。”虽然我对此话理解不深，但还是立项组织了一个课题组，希望通过会战弄明白画面语言学。
● 创建“多媒体画面艺术理论”（2004～2008年）
可以将这段期间的工作用一句话来概括：深入地做了大量基础性的工作，但还是没有弄明白画面语言学。这一现象说明了两个事实：让一批“外行”（非语言专业）来填补一门语言学中的空白，确实有些勉为其难；但是，由于我们在基础理论和科研能力方面毕竟还是有些优势的，所以研究的大方向没错，走弯路难免。
1.选准研究的切入点
研究画面语言学从何处着手？由于前期的研究已经认识到画面具有认知和审美双重功能，即“画面语言”和“画面艺术”二者具有同构关系，而且多媒体教材中的画面是以呈现知识内容为主的，因此切入点选择了“画面语言认知规律研究”。
为此，一方面组织课题组会战，并且通过年会提交研究成果[8] [9]；另一方面，专为学习认知心理学而开设了一门新课“脑认知原理”，试图通过讲授来加深对认知规律的理解。正是由于在讲授知觉的过程中认识了“新质或格式塔(Gestalt)质”,并且将这个心理学概念与艺术领域中的视听觉要素（Visual or Audio essences）联系起来，提出了以下论断：“艺术规则通过规范基本元素在画面上的衍变（即规范视听觉要素），在知觉中产生了和谐、有序的“新质”，从而使画面出现了亮点。”这一事实证明了当初选择的切入点是正确的，后来问世的《多媒体画面艺术理论》，便是在这一论点的基础上建立起来的。
2.深入进行大量基础性的研究工作
按照上述论点，这段期间研究工作的思路是，界定四类媒体（图、像、文、声）中的基本元素和视听觉要素；形成多媒体画面艺术规则（或画面语言的语法规则），从而使多媒体画面艺术（或语言）形成体系。对研究工作的要求是，界定的基本元素、视听觉要素和艺术规则，在内部应该是统一的，对外应该与各类传统艺术兼容。
按照这一思路和要求，取得的主要成果如下。
①对基本元素的界定进行了深入的研究
在基本元素界定中，主要是对“元素”的研究，即“呈现在画面上、能对视（听）觉形成刺激的所有元素”，包括以下几点：
◇形态：图的形态（图形）、文本的形态（字形），声音没有形态，但它来自画面，并对听觉形成刺激，所以也是基本元素；
◇属性：填充形态的色彩（肌理和影调视为由形态、色彩等基本元素衍变产生的新质，划归为视觉要素中）；
◇空间：画面上呈现的空间是由形态与形态之间的关系形成的，分为主体之间的配合关系，和主体、背景之间的主从关系两类，所以背景也是基本元素；
◇运动：只要画面中的内容相对画框有运动或变化，就将该画面视为“运动画面”，使内容产生运动的技术手段（视频或计算机制作），通过画面上内容的运动，形成了视觉刺激，所以应将这些制作手段视为基本元素；
◇字义：画面语言中的文和图是不同的，屏幕文本的字形和字义是分离的，因此应将字义算作另一种基本元素。
②对视（听）觉要素的界定进行了深入的研究
在视（听）觉要素的界定中，主要是对基本元素“衍变”的研究，不仅看基本元素在画面上的衍变形式，而且看衍变在主观上能否产生“新质”。由于在画面上，静态呈现和动态呈现基本元素的界定不同，它们的衍变形式也会不同。
◇静态呈现画面上，衍变形式为基本元素（如形态、色彩、背景等）在画面上的变化、布局、搭配，如形态的大小、清晰模糊变化及形态间的遮挡，可以在主观上产生纵深感（新质）；
◇动态呈现画面上，衍变形式为视频或计算机制作手段（基本元素）的运用技巧，如仰拍人物的镜头显得高大（新质）；
◇运用字义（基本元素）的技巧，可以借鉴运用文字语言的技巧，精炼、准确地表达，深入浅出地描述，逻辑严谨地推理，风趣幽默地侃谈等，字义的这些衍变都会在主观上产生异样的感受（新质）；
◇解说只能动态呈现，它的衍变形式是指播音员运用语音（音色、节奏等）和字义的技巧。好的解说会给多媒体教材增添光彩（新质）。
③对艺术规则的界定进行了深入的研究
认识到界定艺术规则时，需要将多媒体画面艺术分为媒体呈现艺术和画面组接艺术两大类，二者不仅所属范畴不同，而且艺术规则规范的内容各异。
媒体呈现艺术研究动静态、图文声色等媒体在画面上的呈现，旨在将视觉、听觉和表象、概念等认知渠道充分利用起来。这时对艺术规则的要求是，规范各类媒体的基本元素在画面上的衍变（即视听觉要素）。
画面组接艺术研究如何运用交互功能组接画面，旨在使画面上呈现的教学内容在教学过程中得以最佳的运用。此时要求艺术规则规范交互功能的运用技巧。
不论在哪一类艺术中，遵循了艺术规则便会出“亮点”，否则，违背艺术规则便会出“败笔”。
这段期间研究工作取得的重要成果是，形成了8个方面的“多媒体面画艺术规则”（详见第三讲），其中基本艺术规则3个方面，即突出主题或主体、媒体匹配、有序变化；媒体呈现艺术规则4个方面，即属性、背景、文本、解说；画面组接艺术规则1个方面，即对交互功能运用提出“智能度”和“融入度”的要求。
3.对画面语言学的研究进入了误区
研究画面语言认知规律，其目的就是为了弄清楚画面语言学。其实当时已经知道了语言学由语构、语义、语用三部分组成。
画面语构学研究画面语言中各基本元素之间的结构关系，即多媒体画面艺术规则（语法规则），看来这部分已基本搞清楚了。
画面语义学研究如何用画面语言表现教学内容，由于那时对画面语言“以形表义”的特点理解不深，以为有了语法规则就可以设计、评价多媒体教材了。可见当时的认识还停留在前一阶段的水平，仍然没有理解那位语言学家讲的话：“光语法不够，应该把画面语言学搞出来。”这是误区之一。
画面语用学研究画面语言要适应运用环境（即语境），旨在取得好的效果。由于当时我在国外看了很多微软公司创建Windows界面的资料，被其中一句“画面语言学指导了人性化、自然化的界面设计”所误导。现在看来，这句话用于设计信息家电产品的界面是很贴切的，但用于多媒体教材设计却有些牵强，致使这项研究工作在该误区中多年停滞不前。
4.创建“多媒体画面艺术理论”
2007年盘点时发现，虽然此时还没有完全弄明白画面语言学，但是将这段期间研究工作的成果整理出来，足以形成一套新理论。经过一年的努力，终于将这套理论整理出来了，名称定为“多媒体画面艺术理论”(Multimedia Design Theory )；研究范围包括，多媒体画面艺术规则（即多媒体画面语言语法）、多媒体画面认知规律、多媒体画面的人性化、自然化设计；该理论体系包括静止画面、运动画面、画面上的文本和声音等四类媒体的呈现艺术，以及运用交互功能的艺术；该理论与绘画、摄影、音乐、影视、计算机文本、图形、动漫等艺术门类兼容；所属学科为教育技术学（即教学资料建设的基础理论）；可以应用于多媒体教材、影视、广告、舞台布景等领域。
因此，2008年正式对外发布了新艺术理论建成的消息[10] ，并于次年出版了第二本著作《多媒体画面艺术设计》[11]（简称《设计》），系统地介绍了该理论的内容，其中包括这段期间的研究成果，并将8个方面“多媒体面画艺术规则”安排在该书的附录中。
但是从上述对“研究范围”的表述中也可以看到，当时对画面语用学的研究，仍然停留在“人性化、自然化设计画面”的误区之中。
● 形成“多媒体画面语言学”（2009年至今）
《设计》一书出版后，清华大学出版社建议再写一本《多媒体画面艺术应用》[12]（简称《应用》）。为此，我在杂志上看了许多教师在课堂教学中如何运用多媒体教材的文章，原先的意图是希望《应用》一书尽可能结合学校的教学实践。按说这些文章讲的是教学设计，包括信息技术如何与课程整合，但是由于我看问题的角度和大家不同，终于有一天转念一想：“这个课堂教学环境不就是运用多媒体教材的语境吗？”语用学强调语境的目的是为了效果，对多媒体教材来说，强调的不正好就是课堂教学效果吗？
这时才恍然大悟：原来将画面语言学用于家电产品界面设计，和用于教育技术领域中的画面设计，是两码事！思路理顺了，再将2007年停下来的研究工作继续下去，结果一顺百顺。因此决定将创建“多媒体画面语言学”（Linguistics for Multimedia Design）的研究工作，以写书的形式进行下去。按照这一新的思路，将《应用》一书分为三篇，其中第一篇：画面语构学；第二篇：画面语义学；第三篇：画面语用学。
爱因斯坦在谈到他创建相对论时曾经说过这样的话，产生新的思路和把思路表达出来是分阶段进行的，而且后者的难度并不亚于前者。他说：“通用的文字或其他的记号只有在第二个阶段才能很费劲地找出来，此时上述的联想活动已经充分建立，而且可以随意地再生出来”[13]。因此，通过写书来整理和表达新的思路是“很费劲”的，也很有趣。
画面语构学研究画面语言中各基本元素之间的结构关系，即多媒体画面艺术规则。在“画面语言学”的三部分中，只有语构学是研究画面语言本身的，其他两部分属于画面语言的应用范畴：语义学研究如何运用画面语言表义；语用学则研究运用画面语言表义时如何适应语境，确保取得好的效果。因此在《应用》一书中，第一篇讨论画面语言的结构关系，第二、三篇分别讨论画面语言在两个方面的应用。
在第三讲中曾经指出，画面语构学的研究是按照“多媒体画面艺术理论”的思路进行的，事实上，多媒体画面艺术规则就是从该理论中提炼出来的。因此，可以将“多媒体画面艺术理论”和“画面语言学”二者视为“土壤”和“树”的关系：画面语构学是埋在土壤里面的“根”，画面语义学和画面语用学则是长出地面的两棵树。这就可以解释，为什么在“画面语言学”之前，必须先将“多媒体画面艺术理论”创建出来。有了“土壤”，并培养出“根”，然后才长得出“树”来。
同理，由于在“画面语言学”中，语构学处于基础地位，因此多媒体画面艺术规则不仅是用来规范画面语言基本元素衍变的，它的三条基本艺术规则（即突出主题、媒体匹配和有序变化规则）同样可以规范制定“教学格式”和“设计格式”。
在写第二篇（画面语义学）时，我重新研究了“画面语言”，在两个方面取得了突破性的进展（详见第二讲）。
通过“文字语言的语法是融入语句中进行交流的”的事实，开始领悟到“光语法不够，应该把画面语言学搞出来”的深刻含义。在《设计》一书中赏析多媒体课件时，基本是按照“多媒体画面艺术规则”（即语法）进行讨论的。现在已认识到，虽然语法是赏析的基础，但是重点应该放在对“题材”的讨论上。用画面语言表现教学内容也是有固定格式的，就像文字语言中，不同题材的内容要有不同的写法一样。与教学内容题材匹配的多媒体教材格式，是规范化的格式，称为“设计格式”。“设计格式”是画面语义学的研究对象。
对画面语言是运动画面和“以形表义”的特点进行了重新解读。
运动画面强调的是它的“时间”特性。一个知识点包括许多内容，可呈现这些内容的屏幕只有一个（不像书本有许多页），因此基于屏幕呈现的多媒体画面语言必须要充分利用它的“时间”特性。电视画面是自动分时呈现，而电脑画面或多媒体画面由于具有交互功能，可以设置菜单手控分时呈现，因而出现了画面语言的“时间分割”设计格式。
重新解读画面语言“以形表义”的特点，首先需要淡化“文字语言”的定式。其关键是摆正“屏幕文本”的位置：它已经不再是书本上的文字了，而是画面语言中的一员，和其他成员一样要遵循画面语言的语法规则，服从设计格式。在此认识的基础上，再从画面语言基本元素（形、色、动、文、声等）的衍变中，发掘其表现不同题材教学内容的规律，慢慢地养成“画面语言”的语感。
在写第三篇（画面语用学）时，我提出了“复合系统”的概念，将“多媒体教材”视为“课堂教学系统”中的一个子系统。对于一堂课，以前大家只知道“教学设计”，其实从杂志上的文章中看到，有许多老师是站在“多媒体教材”子系统的角度，而不是“课堂教学系统”全局考虑的，这时课堂教学环境（学科内容、学生水平、教学模式等）只能视为画面语言的语境，他们讨论的实际是画面语用学的内容。
此时已认识到，按照课堂教学环境的需求设计多媒体教材也是有固定格式的，如同信息技术如何与课程整合是有规律可循的一样。与教学策略匹配的多媒体教材格式，是规范化的格式，称为“教学格式”。“教学格式”是画面语用学的研究对象。
《应用》一书得到了许多老师的支持，他们提供了自己获奖的课件作为赏析的案例。写这本书时，我将语法（即“多媒体画面艺术规则”）融入到画面语言的运用中，尝试从大量的多媒体课件中提炼、整理“设计格式”和“教学格式”。
写书的过程好像深入到一个陌生的领地旅游一样，开始接触一个课件时，脑子里一片空白，接着按照新的思路试着分析，慢慢地，看到了画面语言的运用特色，而且越来越清晰，最后形成了规律性的认识（即“格式”）。赏析一个课件大约需要花上一周的时间。就这样，赏析每一个新的课件，就像到了一个新的景点，需要思考、探索，结论都是最后才得到的，这也正是漫游这个领地的魅力所在。深入到里面转了一年多，头一次对“画面语言”有了如此全面、深刻的认识。现在书已完稿，预计今年11月出版，“多媒体画面语言学”不久也将问世了。
[1] 游泽清.多媒体画面语言的语法[J].信息技术教育，2002（12）.
[2] 游泽清，曲建峰，金宝琴.多媒体教材中运动画面艺术规律的探讨[J].中国电化教育，2003（8）.
[3] 游泽清.认识一种新的画面类型——多媒体画面[J].中国电化教育，2003（7）.
[4] 游泽清，庞大勇.声音媒体在多媒体教材中的运用[J].中国电化教育，2003（10）.
[5] 游泽清.文本在多媒体教材中运用势要“入乡随俗”[J].中国大学教育，2005（12）.
[6] 游泽清.多媒体教材中运用交互功能的艺术[J].中国电化教育，2003（11）.
[7] 游泽清.多媒体画面艺术基础[M].北京：高等教育出版社，2003.
[8] 游泽清.多媒体画面语言中的认知规律研究[J].中国电化教育，2004（11）.
[9] 游泽清.如何开展对多媒体画面认知规律的研究[J].中国电化教育，2005（10）.
[10] 游泽清.创建一门新的艺术理论[J].中国电化教育，2008（8）.
[11] 游泽清.多媒体画面艺术设计[M].清华大学出版社，2009.
[12] 游泽清,多媒体画面艺术应用[M].清华大学出版社，2011.
[13] 克雷奇.心理学纲要[M].周先康，译.文化教育出版社，1980.
早在2002年，游泽清教授就在本刊率先提出了“多媒体画面语言”的概念。十年磨一剑，他本着高度的历史责任感和使命感，带领课题团队和研究生，进行了持之以恒的研究。这十年，他们曾误入歧途、也走过弯路，但他们从未放弃，从深入进行大量基础性的研究到终有灵光一闪，从点滴概念的明晰到学科体系的建立，今天，“多媒体画面语言学”终于系统、完整地与读者见面了。
本刊将分四期，按“画面语用学”、“画面语义学”、“画面语构学”和“多媒体画面语言学诞生过程”的顺序详加介绍，让多媒体教材在教育教学改革中的制作与应用更加有序、规范，绽放更加夺目的光彩。
研究多媒体画面艺术（或语言）已经10年了，能把这个问题弄明白真不容易！
记得2001年前后，当许多学校正热衷于从“美术”或“电脑美学”探索改善多媒体教材质量时，我们首次提出了“多媒体画面语言”的概念[1]，并且沿着这一思路走到今天，终于创建了“多媒体画面语言学”。这10年中，立过项目，组织过会战，获过奖励，也走过弯路。为了澄清一个误区、明确一个概念，往往需要经历几月，甚至几年的时间。现在回过头来总结一下，大体可以分为以下三个阶段。
● 提出“多媒体画面语言”概念（2001～2004年）
在这期间的研究工作是，借鉴传统艺术中画面语言的概念，揭示或深入认识“多媒体画面语言”的内涵。取得的成果主要体现在两个方面。
1.提出了“运动画面”的概念[2]
强调运动画面是基于屏幕呈现的画面，包括电视画面、电脑画面和多媒体画面三种类型。指出在多媒体教材中，是通过运动画面描述一个知识点或一个运动（变化）过程的。这就是说，组成多媒体教材的基本单位是运动画面，既不是（静止的）美术画面，也不仅仅是电脑画面。
2.明确了组成多媒体画面语言的基本元素(elements)
当时已能准确地指出，多媒体画面是通过四类媒体（图、像、文、声）传递知识信息的；多媒体教材是通过编辑、交互功能将这些画面组接起来的。在这期间发表了一系列文章[3] [4] [5] [6]，分别对这些基本元素进行了专题讨论。
当时出版的一本著作《多媒体画面艺术基础》[7]（简称《基础》），将这段期间的研究成果系统地表达了出来，可以认为该书的意义是，首次提出了“多媒体画面语言”(Language with Multimedia)的概念。这是研究“多媒体画面艺术”取得第一阶段的成果。
上述研究工作很快得到了教育部和社会的认可：
◇2003年，立项“全国教育科学十五‘规划’（教育部重点）课题”《多媒体教学资源中画面语言研究》；
◇2004年，“多媒体画面艺术基础”课程被教育部评为“国家级精品课程”；
◇2004年，“多媒体画面艺术基础”网络课程被教育部评为“国家级优秀网络课程”；
◇2004年，中国教育电视台“大学书苑”栏目专题报道了《多媒体画面艺术基础》一书，许多学校采用了该书作教材或教学参考书。
客观地讲，10年前形成的这些概念，今天看来并没有过时，只是更加深化或丰富了。
因此，对这一阶段的工作是应该肯定的。但是，用“弄明白多媒体画面语言”这个要求来衡量，只能算开了个好头，离最终目标还差距甚远。首先，虽然认识到了“视觉要素”，但是还没有看到它在产生画面艺术美感内在机理中的重要地位；其次，虽然意识到了“以形表义”是画面语言有别于文字语言的重要特征，但对画面语言是如何通过“形”来表现教学内容的还缺乏认识，更谈不上规律性的认识；特别是在规范画面语言的规则上，由于缺乏语言学的基础知识，以为只要搞清楚画面语言的语法就可以了。那时有一位语言学家（也是当时国家语委的领导）曾提醒我说：“光语法不够，应该把画面语言学搞出来。”虽然我对此话理解不深，但还是立项组织了一个课题组，希望通过会战弄明白画面语言学。
● 创建“多媒体画面艺术理论”（2004～2008年）
可以将这段期间的工作用一句话来概括：深入地做了大量基础性的工作，但还是没有弄明白画面语言学。这一现象说明了两个事实：让一批“外行”（非语言专业）来填补一门语言学中的空白，确实有些勉为其难；但是，由于我们在基础理论和科研能力方面毕竟还是有些优势的，所以研究的大方向没错，走弯路难免。
1.选准研究的切入点
研究画面语言学从何处着手？由于前期的研究已经认识到画面具有认知和审美双重功能，即“画面语言”和“画面艺术”二者具有同构关系，而且多媒体教材中的画面是以呈现知识内容为主的，因此切入点选择了“画面语言认知规律研究”。
为此，一方面组织课题组会战，并且通过年会提交研究成果[8] [9]；另一方面，专为学习认知心理学而开设了一门新课“脑认知原理”，试图通过讲授来加深对认知规律的理解。正是由于在讲授知觉的过程中认识了“新质或格式塔(Gestalt)质”,并且将这个心理学概念与艺术领域中的视听觉要素（Visual or Audio essences）联系起来，提出了以下论断：“艺术规则通过规范基本元素在画面上的衍变（即规范视听觉要素），在知觉中产生了和谐、有序的“新质”，从而使画面出现了亮点。”这一事实证明了当初选择的切入点是正确的，后来问世的《多媒体画面艺术理论》，便是在这一论点的基础上建立起来的。
2.深入进行大量基础性的研究工作
按照上述论点，这段期间研究工作的思路是，界定四类媒体（图、像、文、声）中的基本元素和视听觉要素；形成多媒体画面艺术规则（或画面语言的语法规则），从而使多媒体画面艺术（或语言）形成体系。对研究工作的要求是，界定的基本元素、视听觉要素和艺术规则，在内部应该是统一的，对外应该与各类传统艺术兼容。
按照这一思路和要求，取得的主要成果如下。
①对基本元素的界定进行了深入的研究
在基本元素界定中，主要是对“元素”的研究，即“呈现在画面上、能对视（听）觉形成刺激的所有元素”，包括以下几点：
◇形态：图的形态（图形）、文本的形态（字形），声音没有形态，但它来自画面，并对听觉形成刺激，所以也是基本元素；
◇属性：填充形态的色彩（肌理和影调视为由形态、色彩等基本元素衍变产生的新质，划归为视觉要素中）；
◇空间：画面上呈现的空间是由形态与形态之间的关系形成的，分为主体之间的配合关系，和主体、背景之间的主从关系两类，所以背景也是基本元素；
◇运动：只要画面中的内容相对画框有运动或变化，就将该画面视为“运动画面”，使内容产生运动的技术手段（视频或计算机制作），通过画面上内容的运动，形成了视觉刺激，所以应将这些制作手段视为基本元素；
◇字义：画面语言中的文和图是不同的，屏幕文本的字形和字义是分离的，因此应将字义算作另一种基本元素。
②对视（听）觉要素的界定进行了深入的研究
在视（听）觉要素的界定中，主要是对基本元素“衍变”的研究，不仅看基本元素在画面上的衍变形式，而且看衍变在主观上能否产生“新质”。由于在画面上，静态呈现和动态呈现基本元素的界定不同，它们的衍变形式也会不同。
◇静态呈现画面上，衍变形式为基本元素（如形态、色彩、背景等）在画面上的变化、布局、搭配，如形态的大小、清晰模糊变化及形态间的遮挡，可以在主观上产生纵深感（新质）；
◇动态呈现画面上，衍变形式为视频或计算机制作手段（基本元素）的运用技巧，如仰拍人物的镜头显得高大（新质）；
◇运用字义（基本元素）的技巧，可以借鉴运用文字语言的技巧，精炼、准确地表达，深入浅出地描述，逻辑严谨地推理，风趣幽默地侃谈等，字义的这些衍变都会在主观上产生异样的感受（新质）；
◇解说只能动态呈现，它的衍变形式是指播音员运用语音（音色、节奏等）和字义的技巧。好的解说会给多媒体教材增添光彩（新质）。
③对艺术规则的界定进行了深入的研究
认识到界定艺术规则时，需要将多媒体画面艺术分为媒体呈现艺术和画面组接艺术两大类，二者不仅所属范畴不同，而且艺术规则规范的内容各异。
媒体呈现艺术研究动静态、图文声色等媒体在画面上的呈现，旨在将视觉、听觉和表象、概念等认知渠道充分利用起来。这时对艺术规则的要求是，规范各类媒体的基本元素在画面上的衍变（即视听觉要素）。
画面组接艺术研究如何运用交互功能组接画面，旨在使画面上呈现的教学内容在教学过程中得以最佳的运用。此时要求艺术规则规范交互功能的运用技巧。
不论在哪一类艺术中，遵循了艺术规则便会出“亮点”，否则，违背艺术规则便会出“败笔”。
这段期间研究工作取得的重要成果是，形成了8个方面的“多媒体面画艺术规则”（详见第三讲），其中基本艺术规则3个方面，即突出主题或主体、媒体匹配、有序变化；媒体呈现艺术规则4个方面，即属性、背景、文本、解说；画面组接艺术规则1个方面，即对交互功能运用提出“智能度”和“融入度”的要求。
3.对画面语言学的研究进入了误区
研究画面语言认知规律，其目的就是为了弄清楚画面语言学。其实当时已经知道了语言学由语构、语义、语用三部分组成。
画面语构学研究画面语言中各基本元素之间的结构关系，即多媒体画面艺术规则（语法规则），看来这部分已基本搞清楚了。
画面语义学研究如何用画面语言表现教学内容，由于那时对画面语言“以形表义”的特点理解不深，以为有了语法规则就可以设计、评价多媒体教材了。可见当时的认识还停留在前一阶段的水平，仍然没有理解那位语言学家讲的话：“光语法不够，应该把画面语言学搞出来。”这是误区之一。
画面语用学研究画面语言要适应运用环境（即语境），旨在取得好的效果。由于当时我在国外看了很多微软公司创建Windows界面的资料，被其中一句“画面语言学指导了人性化、自然化的界面设计”所误导。现在看来，这句话用于设计信息家电产品的界面是很贴切的，但用于多媒体教材设计却有些牵强，致使这项研究工作在该误区中多年停滞不前。
4.创建“多媒体画面艺术理论”
2007年盘点时发现，虽然此时还没有完全弄明白画面语言学，但是将这段期间研究工作的成果整理出来，足以形成一套新理论。经过一年的努力，终于将这套理论整理出来了，名称定为“多媒体画面艺术理论”(Multimedia Design Theory )；研究范围包括，多媒体画面艺术规则（即多媒体画面语言语法）、多媒体画面认知规律、多媒体画面的人性化、自然化设计；该理论体系包括静止画面、运动画面、画面上的文本和声音等四类媒体的呈现艺术，以及运用交互功能的艺术；该理论与绘画、摄影、音乐、影视、计算机文本、图形、动漫等艺术门类兼容；所属学科为教育技术学（即教学资料建设的基础理论）；可以应用于多媒体教材、影视、广告、舞台布景等领域。
因此，2008年正式对外发布了新艺术理论建成的消息[10] ，并于次年出版了第二本著作《多媒体画面艺术设计》[11]（简称《设计》），系统地介绍了该理论的内容，其中包括这段期间的研究成果，并将8个方面“多媒体面画艺术规则”安排在该书的附录中。
但是从上述对“研究范围”的表述中也可以看到，当时对画面语用学的研究，仍然停留在“人性化、自然化设计画面”的误区之中。
● 形成“多媒体画面语言学”（2009年至今）
《设计》一书出版后，清华大学出版社建议再写一本《多媒体画面艺术应用》[12]（简称《应用》）。为此，我在杂志上看了许多教师在课堂教学中如何运用多媒体教材的文章，原先的意图是希望《应用》一书尽可能结合学校的教学实践。按说这些文章讲的是教学设计，包括信息技术如何与课程整合，但是由于我看问题的角度和大家不同，终于有一天转念一想：“这个课堂教学环境不就是运用多媒体教材的语境吗？”语用学强调语境的目的是为了效果，对多媒体教材来说，强调的不正好就是课堂教学效果吗？
这时才恍然大悟：原来将画面语言学用于家电产品界面设计，和用于教育技术领域中的画面设计，是两码事！思路理顺了，再将2007年停下来的研究工作继续下去，结果一顺百顺。因此决定将创建“多媒体画面语言学”（Linguistics for Multimedia Design）的研究工作，以写书的形式进行下去。按照这一新的思路，将《应用》一书分为三篇，其中第一篇：画面语构学；第二篇：画面语义学；第三篇：画面语用学。
爱因斯坦在谈到他创建相对论时曾经说过这样的话，产生新的思路和把思路表达出来是分阶段进行的，而且后者的难度并不亚于前者。他说：“通用的文字或其他的记号只有在第二个阶段才能很费劲地找出来，此时上述的联想活动已经充分建立，而且可以随意地再生出来”[13]。因此，通过写书来整理和表达新的思路是“很费劲”的，也很有趣。
画面语构学研究画面语言中各基本元素之间的结构关系，即多媒体画面艺术规则。在“画面语言学”的三部分中，只有语构学是研究画面语言本身的，其他两部分属于画面语言的应用范畴：语义学研究如何运用画面语言表义；语用学则研究运用画面语言表义时如何适应语境，确保取得好的效果。因此在《应用》一书中，第一篇讨论画面语言的结构关系，第二、三篇分别讨论画面语言在两个方面的应用。
在第三讲中曾经指出，画面语构学的研究是按照“多媒体画面艺术理论”的思路进行的，事实上，多媒体画面艺术规则就是从该理论中提炼出来的。因此，可以将“多媒体画面艺术理论”和“画面语言学”二者视为“土壤”和“树”的关系：画面语构学是埋在土壤里面的“根”，画面语义学和画面语用学则是长出地面的两棵树。这就可以解释，为什么在“画面语言学”之前，必须先将“多媒体画面艺术理论”创建出来。有了“土壤”，并培养出“根”，然后才长得出“树”来。
同理，由于在“画面语言学”中，语构学处于基础地位，因此多媒体画面艺术规则不仅是用来规范画面语言基本元素衍变的，它的三条基本艺术规则（即突出主题、媒体匹配和有序变化规则）同样可以规范制定“教学格式”和“设计格式”。
在写第二篇（画面语义学）时，我重新研究了“画面语言”，在两个方面取得了突破性的进展（详见第二讲）。
通过“文字语言的语法是融入语句中进行交流的”的事实，开始领悟到“光语法不够，应该把画面语言学搞出来”的深刻含义。在《设计》一书中赏析多媒体课件时，基本是按照“多媒体画面艺术规则”（即语法）进行讨论的。现在已认识到，虽然语法是赏析的基础，但是重点应该放在对“题材”的讨论上。用画面语言表现教学内容也是有固定格式的，就像文字语言中，不同题材的内容要有不同的写法一样。与教学内容题材匹配的多媒体教材格式，是规范化的格式，称为“设计格式”。“设计格式”是画面语义学的研究对象。
对画面语言是运动画面和“以形表义”的特点进行了重新解读。
运动画面强调的是它的“时间”特性。一个知识点包括许多内容，可呈现这些内容的屏幕只有一个（不像书本有许多页），因此基于屏幕呈现的多媒体画面语言必须要充分利用它的“时间”特性。电视画面是自动分时呈现，而电脑画面或多媒体画面由于具有交互功能，可以设置菜单手控分时呈现，因而出现了画面语言的“时间分割”设计格式。
重新解读画面语言“以形表义”的特点，首先需要淡化“文字语言”的定式。其关键是摆正“屏幕文本”的位置：它已经不再是书本上的文字了，而是画面语言中的一员，和其他成员一样要遵循画面语言的语法规则，服从设计格式。在此认识的基础上，再从画面语言基本元素（形、色、动、文、声等）的衍变中，发掘其表现不同题材教学内容的规律，慢慢地养成“画面语言”的语感。
在写第三篇（画面语用学）时，我提出了“复合系统”的概念，将“多媒体教材”视为“课堂教学系统”中的一个子系统。对于一堂课，以前大家只知道“教学设计”，其实从杂志上的文章中看到，有许多老师是站在“多媒体教材”子系统的角度，而不是“课堂教学系统”全局考虑的，这时课堂教学环境（学科内容、学生水平、教学模式等）只能视为画面语言的语境，他们讨论的实际是画面语用学的内容。
此时已认识到，按照课堂教学环境的需求设计多媒体教材也是有固定格式的，如同信息技术如何与课程整合是有规律可循的一样。与教学策略匹配的多媒体教材格式，是规范化的格式，称为“教学格式”。“教学格式”是画面语用学的研究对象。
《应用》一书得到了许多老师的支持，他们提供了自己获奖的课件作为赏析的案例。写这本书时，我将语法（即“多媒体画面艺术规则”）融入到画面语言的运用中，尝试从大量的多媒体课件中提炼、整理“设计格式”和“教学格式”。
写书的过程好像深入到一个陌生的领地旅游一样，开始接触一个课件时，脑子里一片空白，接着按照新的思路试着分析，慢慢地，看到了画面语言的运用特色，而且越来越清晰，最后形成了规律性的认识（即“格式”）。赏析一个课件大约需要花上一周的时间。就这样，赏析每一个新的课件，就像到了一个新的景点，需要思考、探索，结论都是最后才得到的，这也正是漫游这个领地的魅力所在。深入到里面转了一年多，头一次对“画面语言”有了如此全面、深刻的认识。现在书已完稿，预计今年11月出版，“多媒体画面语言学”不久也将问世了。
[1] 游泽清.多媒体画面语言的语法[J].信息技术教育，2002（12）.
[2] 游泽清，曲建峰，金宝琴.多媒体教材中运动画面艺术规律的探讨[J].中国电化教育，2003（8）.
[3] 游泽清.认识一种新的画面类型——多媒体画面[J].中国电化教育，2003（7）.
[4] 游泽清，庞大勇.声音媒体在多媒体教材中的运用[J].中国电化教育，2003（10）.
[5] 游泽清.文本在多媒体教材中运用势要“入乡随俗”[J].中国大学教育，2005（12）.
[6] 游泽清.多媒体教材中运用交互功能的艺术[J].中国电化教育，2003（11）.
[7] 游泽清.多媒体画面艺术基础[M].北京：高等教育出版社，2003.
[8] 游泽清.多媒体画面语言中的认知规律研究[J].中国电化教育，2004（11）.
[9] 游泽清.如何开展对多媒体画面认知规律的研究[J].中国电化教育，2005（10）.
[10] 游泽清.创建一门新的艺术理论[J].中国电化教育，2008（8）.
[11] 游泽清.多媒体画面艺术设计[M].清华大学出版社，2009.
[12] 游泽清,多媒体画面艺术应用[M].清华大学出版社，2011.
[13] 克雷奇.心理学纲要[M].周先康，译.文化教育出版社，1980.