论文部分内容阅读
大量基于西方文字的阅读研究表明,在阅读过程中的眼球注视位置在不断变化,以获得信息；而这种位置的变化过程并非平滑而匀速的运动,而是由相对静止的注视点(fixation)和快速运动的眼跳(saccade)组成。其中主视点所在的位置(fixation location,thewhere decision)和停留时间的长短(fixation duration,thewhen decision)一直是从事眼动控制(eye movement control)研究的众多心理学家所关心和争论的焦点(see Rayner,1998,for a review)。本论文将主要分为三个部分,分别探讨中文阅读过程中注视点位置,影响停留时间长短的因素,以及前视野信息加工深度等方面的问题。
第一部分,关于注视点停留位置(fixation landing position)问题的研究
研究证实,在西方文字的阅读中,读者的注视点停留的位置不是随机选择的,而是有倾向性地选择了词中心稍偏左的位置(Rayner,1979；McConkie et al.,1988；Reichle et al.,1999)；研究者认为,当注视点处于这一词中心附近位置时,加工效率最高,因此称之为优化注视位置(optimal viewing position,OVP)。同时,词间距(word boundary)起到了至关重要的作用。移除词间距的句子在阅读过程中将产生严重的困难,主要表现为在注视点位置的改变以及阅读速度的降低(Epelboim,Booth,& Steinman,1994；Epelboim,Booth,Ashkenazy,Taleghani,& Steinman,1997；Rayner& Pollatsek,1996；Rayner,Fischer,&Pollatsek,1998)。因此,西方文字的阅读是以词为基本眼跳目标单位(basic unit for saccadetargeting),并以此作为眼动轨迹的计算模型的最基本假设之一(McConkie et al.,1988；ORegan& Lévy-Schoen,1987; Reichle,Rayner,& Pollatsek,1999,but see also Yang andMcConkie,2004 for a different point of view)。
然而,西方文字中对“词”这一概念的界定存在着两重性:一个词既表明了最小的语意单位,即“概念词”(a conceptual word)或者称为“词条”(a lexical item),与此同时,一个词又是被视觉上的低频空间信息(词间距)分割出来的独立空间,即“视觉词”(anorthographical word)。仅仅以西方文字为阅读材料的研究,难于区别究竟何者在眼动控制中起到了更重要的作用。相对西方文字而言,中文中的“词”仅仅由语意概念所定义,而不存在视觉上的明显边界。因此,论文的第一部分,以中文句子为材料,考察了中文阅读中是否存在有倾向性地选择注视点位置的问题。研究的理论假设是,如果在不存在视觉词边界的中文阅读中仍然表现出基于词的某个倾向注视位置(preferred viewing location),就能在很大程度上证明中文阅读的过程中涉及了到对字串的在线切分,即将汉字串分解为词这一基本概念和阅读单元；同时也证明中文阅读的眼动控制和西方文字一样,也是基于词为基本眼跳单位,进而表明概念词比视觉词起到了更关键的作用。相反,如果以汉字为基本眼跳单位,那么,在前视野中的若干汉字都可能作为眼跳目标而被选择,因此就不应该存在基于词的倾向注视位置,因而注视点位置曲线中不同位置间不应存在差异。
然而,研究中文阅读眼动控制的一个难题在于,与西方文字相比,中文对词的定义相对模糊(word boundary ambiguity),即使成年熟练读者之间也经常存在对词边界不一致的判断(Hoosain,1992；Miller,Chen,& Zhang,2004)。词边界的不明确性可能在不同读者间产生不同的词边界,因此,阅读这样的材料潜在的问题是会带来很大的被试变异,而将实验效应淹没在噪音中。McConkie和同事关于中文眼动控制的研究就有可能遇到了类似的问题(Yang& McConkie,1999；Tsai& McConkie,2003)。因此,本论文的实验从《人民日报》预料库选取的实验句子试图尽量避免了边界的不一致。总共选取了150句进行实验,称为 Beijing Sentence Corpus(BSC)。
为进一步保证所选取实验材料的有效性,未参加正式眼动实验的被试20名进行了词边界一致性的前测。被试被要求将句子切分成词单位。前测的结果表明,所有被试对词边界的一致性判定范围由80％到99％,而平均97％的词边界是一致的。这就保证了被试在阅读过程中对词边界判定的一致性。
北京师范大学本科生和研究生共30名被试参加了实验,他们的视力或矫正视力正常。被试要求阅读并理解屏幕上呈现的句子,在阅读过程中被试的眼动轨迹被EyelinkⅡ眼动追踪仪所记录。实验句BSC共150句按照随机顺序依次单行呈现,其中42句(全部句子的28％)后跟随有阅读理解问题,以保证被试的阅读质量。所有被试均正确回答了80％以上的阅读理解问题。
数据整理和分析基于为德文句子Potsdam Sentence Corpus阅读数据所开发的matlab脚本程序(Engbert,Nuthmann,Richter,& Kliegl,2005；Kiiegl,Nuthmann,& Engbert,2006；Nuthmann,Engbert,& Kliegl,2005)并按照中文阅读数据分析的需要进行了适当的调整和修改。
经统计分析发现,与英文和德文等西方文字的相关研究非常类似,中文阅读中也存在着明确的基于词为基本单位的倾向注视位置。具体来看,首次注视点(first fixation)的位置更偏重于词首附近的位置,这一结果与去除词边界后的英文阅读(Rayner,Fischer,&Pollatsek,1998)和同样是没有词边界的日文阅读(Kajii,Nazir,& Osaka,2001)等语料阅读模式非常类似。为进一步探讨中文阅读的特性,我们把所有的首次注视点依照在词区段内的注视次数(number of fixations)进一步分为单一注视点(single fixation)和有多个注视点情况下的首个(first of multiple fixation)。分析表明,单一注视点的情况下,读者的倾向注视位置在词中心偏左的位置,这一结论与英文的阅读相吻合(Rayner,1979；McDonald&Shillcock,2004)；另外,多个注视点情况下,首注视点倾向注视位置明显位于词首。同时,再注视概率(probability of refixation)的曲线呈线性递,这说明当一个注视落在词首时,更易于引发再次注视(refixation),而与英文的倒U型曲线不一致。
以上结果表明,与英文和德文等西方文字阅读中的眼动控制相比较,中文阅读既有与其相似的跨语言共同性,又有基于自身文字特点的特异性。具体来讲,考虑到汉语句子的特点是没有词边界,那么在读者能否在前视野中将汉字串切分成词,进而选择基于词作为眼跳目标,就成了汉语阅读中的眼动控制这一课题的关键问题。根据词的注视情况可以分为被跳过的词(skipped words)、得到单一注视点的词(single fixated words)以及得到多个注视点的词(multiple fixated words)等几种不同情况,经过对比可以发现这三类词在属性上存在显著差异:得到单一注视点的词比被跳过的词更“复杂”,具体表现在更低的词频、更高的视觉复杂性(以笔画数作为指标)、更低的可预期性以及词长更长等几个方面；而单注视点词比多注视点词要简单。这也就是说,在较复杂词上往往有多个注视点,而其首注视点更倾向于落在词首,对复杂词的眼跳目标不是词中心而是词首；对中等复杂程度的词,只有一个注视点,且眼跳目标是词中心；而对于最简单的词,在前视野的加工足以通达词汇而无需注视点。这种层级的关系充分证明,读者在阅读时对下一个词的注视点位置的选择不是随机的,而是受到了语言学层次的词汇水平因素的影响。基于以上分析,我们推测,当前视野词(parafoveal word)较复杂时,对词的预加工(preprocessing)不够深入,读者很可能不能正确分辨出前视野词的长度,因此采取较保守的方式,以词首为眼跳目标以获取更多信息；反之,而当下一个将被注视的词相对较简单时,则直接以最佳加工位置为眼跳目标。这个“前视野切分-眼跳”的两阶段模型需要通过更多的实验以及计算机模拟等进行证实。
综上所述,本论文第一部分的实验结果支持了中文阅读中的眼跳目标选择(saccadetargeting)是基于以词为基本单位这一观点。同时,由于中文不存在视觉上的词边界,因此可以推断中文阅读以概念词为眼跳目标。
第二部分,关于注视点停留时间(fixation duration)问题的研究
哪些因素可以影响读者对词的加工时间?在英文和德文的阅读中,大量眼动研究证据表明,可预期性、词长、词频都是影响注视时间长短的重要因素,统称为三大因素(Rayner,1998 and Kliegl,Nuthmann,& Engbert,2006,for reviews)。其中,语境可预期性是指读到某个词之前,根据已有的语境信息,预测出这个词的可能性。例如,凝视注视时间(gazeduration)随着当前词长度增加而增加(Just& Carpenter,1980；Rayner et al.,1996)。当词长因素被控制时,对低频词的注视时间长于高频词(Altarriba,Kroll,Sholl,&Rayner,1996；Henderson& Ferreira,1990,1993；Hy(o)n(a)& Olson,1995；Inhoff& Rayner,1986；Just&Carpenter,1980；Kennison& Clifton,1995；Raney& Rayner,1995；Rayner,1977；Rayner&Duffy,1986；Rayner& Fischer,1996；Rayner& Raney,1996；Rayner et al.,1996；Rayner,Fischer,et al.,1998；S.C.Sereno,1992；Vitu,1991)。
除了当前词的属性对注视时间的影响之外,也有大量研究证实,邻词(neighborhoodword)的某些属性也影响了注视时间(see Kliegl,Nuthmann,& Engbert,2006,for a review)。例如,当上一个词由于低频而造成加工未完成时,会对当前词的加工产生溢出效应(spillover effect,Schroyens,Vitu,Brysbaert,& dYdewalle,1999；Rayner& Duffy,1986)。同时,下一个词的可预期性越高,加工当前词所需的时间越长,而对下一个词的注视时间减少,这是由于下一个词在被注视之前就部分地得到了加工(ORegan,1979,1980；Ehrlich&Rayner,1981；Rayner& Well,1996；Lavigne,Vitu,& dYdevalle,2000；Balota,Pollatsek&Rayner,1985；Kliegl,Nuthmann,& Engbert,2006；Kliegl,2007)。
和西方文字非常类似,中文阅读中注视点停留时间同样受到了当前词的语言学属性的影响。例如,读者对高频和高可预期性的词注视时间较短且跳过比率(skipping rate)较高(Rayner,Li,Juhasz,& Yan,2005；Yan,Tian,Bai,& Rayner,2006)。与西方文字不同的是,中文汉字在视觉复杂性(以笔画数作为指标)上有很大差异,例如,简体汉字中最简单的汉字“一”只有一笔,而“齉”(音nang4,意为鼻子不通气)却有36笔。有实验证据已经表明,笔画数对汉字加工时间存在显著影响,笔画数越多的汉字加工时间越长(Yu&Cao,1992；Zhang&Feng,1992；Peng&Wang,1997)。
以上这些中文阅读研究采取的方法是心理学研究中常用的实验控制,其优点是可以把可能存在相关的不同因素进行分离,其不足之处是,一个实验内涉及到的因素往往不多,而且一个因素所选取的水平也局限于几个,所以基于这些有限因素有限水平下得到的实验结论可能并不能涉及大量影响因素,也不能把握语料库的整体变化趋势。而基于语料库统计的研究可以采用重复测量多重吲归(repeated—measures multiple regression analysis,rmMRA)或者线性混合效应模型(linear mixed-effects models,lme)等统计方法以评估大量数据中的多种多个因素的主效应以及多个因素间的交互作用(Kliegl,Grabner,Rolfs,&Engbert,2004；Kliegl,Nuthmann,& Engbert,2006；Kliegl,2007)。论文的第二部分从统计的观点(statistical approach)出发,考察诸多因素对注视时间长短的影响。
本论文使用R(一种由R Development Core Team开发的为统计计算和图形显示而设计的语言)环境下的lmer统计包(lme4 package；Bates&Sarkar,2006；2008),我们将线性混合效应模型(lme；e.g.,Pinheiro&Bates,2000)应用到中文阅读的眼动研究的数据分析之中。我们检测了语言学水平(linguistic level)和视觉运动水平(oculomotor level)的共15个因素的主效应和交互作用对注视时间的影响。其中语言学水平的因素包括当前被注视词(word n)及其被注视词的前一个词(word n-1)和后一个词(word n+1)的词频、词长、视觉复杂性以及语境可预期性,共3x4=12个因素；以及视觉运动水平的进入眼跳距离(incoming saccade length)、外出眼跳距离(outgoing saccade length)、注视点停留位置(fixation landing position)。
参照Kliegl et al.(2004；2006)的实验范式,148名北京师范大学的本科生或研究生参与了可预期性评定的实验,每人完成对BSC中75句的,因此对每个词有74个预期。具体过程是,在计算机屏幕上呈现第一个词,被试预期后面即将出现的词并写在答题纸上,此后计算机呈现句子的第二个词(第一个词仍然保留在屏幕上),再由被试根据这两个词预期第三个词；依此类推。除去每句的第一个词和最后一个词(因为这些词不参与统计分析),可预期性为的范围由0.93(表示93％的被试正确预期到了这个词的出现)到0,平均为0.18。
数据分析基于右眼的注视点40,882个。以下注视点从数据分析中剔除:1)每句的第一个和最后一个注视点,2)每个第一个词和最后一个词上的全部注视点,3)注视时间长于750ms或者短于50ms,以便排除仪器记录上的错误以及读者阅读时自身的随机误差。经过以上条件的筛选保留了30,293个注视点。被删除的数据之中只有1.8％的注视点是由于注视时间过长或过短。
以下对模型结果做出简要解释。首先是当前被注视词的语言学因素的影响。注视时间随频率(t=-4.21)和可预期性(t=-3.88)的增加而减少,这与西方语言的结果是相一致的。此外,我们还发现,视觉复杂程度越高(即笔画数较多)的词,其注视时间也越长(t=8.9),这与以往中文阅读研究的发现也是吻合的。其次,前一个词的频率(t=-2.95)和词长(t=-3.1)对当前词的注视时间都有显著效应。前词频率的影响可以解释为溢出效应(spillover effect),即对低频的上一个词的继续加工延长了当前词的加工时间。再次,统计结果同时还证明了下一个词的可预期性对当前词加工时间的影响(t=4.39),高可预期性的下一个词延长了当前词的注视时间,这说明对当前词的加工中包含了对下一个词的部分加工,这与英文和德文等西方文字的研究也是相符合的。值得注意的是,以上诸多因素的对注视时间的影响中,最重要的是当前词的视觉复杂程度。
综上所述,论文第二部分的实验结果证明,对一个词的加工时间不仅仅受到当前词的语言学因素(词频、笔画数、可预期性)的影响,而且其相邻词的某些属性也参与了加工。在熟练读者阅读简单的新闻语料这一情况下,我们发现了与西方文字中存在的频率、词长、可预期性这三大因素相比,中文中视觉复杂性对加工时间有着更为重要的作用。
第三部分,前视野信息加工(parafoveal processing)
经过以上线性混合效应模型分析得出,中文的阅读和西方文字一样,注视点停留时间不仅仅受到当前正在加工的词的语言学属性的影响,而且其相邻词的某些特性也获得了一定程度的激活。回到第一部分提出的问题,读者在阅读时需要得到前视野的信息用于从无边界的中文字串之中切分出下一个词,以确定眼跳的目标。那么,中文的熟练读者可以从前视野中获得和利用的信息种类有哪些,也就是前视野加工深度如何,就顺理成章地成为了论文第三部分所关心的主要问题。
边界实验范式(boundary paradigm；Rayner,1975)是一种根据被试当前眼睛注视点所在的位置来改变屏幕上呈现刺激内容的一种眼动实验范式,当注视点的位置跨越某一无形边界时引发信息变化。在关于测量英文阅读视野范围(perceptual span)的研究领域,边界实验范式最早得到广泛的应用(McConkie&Rayner,1975；Rayner&McConkie,1976),稍后引入到了中文的相关研究中(Inhoff&Liu,1997；1998)。由边界实验范式产生的两种实验效应分别是预览利益(preview benefit)和前视野对视野效应(parafoveal-on—foveal effect)。预览利益是指提供前视野信息的条件下比屏蔽该信息时对前视野词加工时间的减少,而前视野对视野效应指前视野词的属性对当前词加工时间的影响。这种实验范式进而发展为在前视野中呈现与目标词(target word)有某种关联的预览词(preview word),用以研究前视野信息加工的深度。这类研究的理论假设是,在眼睛注视点跨越边界之前屏幕呈现的预览词与眼睛跨越边界后在预览词位置替代其呈现的目标词之间存在某种维度的关联(词形、语音、语义中的一个或几个),如果预览词和目标词之间的所关联的维度恰好是前视野加工所能达到的层次,那么因为这部分重叠的信息已经得到了预加工,所以当注视点移动到目标词时,就会加速对目标词的加工。
以往研究表明,在西方文字的阅读中,前视野词中词形(orthography)和语音(phonology)信息可以得到激活(Rayner,1975；Inhoff,1990；Inhoff&Tousman,1991；Henderson et al.,1995；Pollatsek et al.,1992),但没有证据表明前视野的语义(semantics)信息得到加工(Rayner et al.,1986；Altarriba et al.,2001；see Starr&Rayner,2001；Rayner et al.,2003,for areview)。同时,在中文的研究中,也证明前视野的字形信息的重叠加速了目标字的加工,语音信息的重叠在一些特定的情况下也起到了类似的作用(Pollatsek,Tan,& Rayner,2000；Liu,Inhoff,Ye,&Wu,2002；Tsai,Lee,Tzeng,Hung,&Yen,2004)。
与西方文字的严格的“形-音-义”序列激活(Van Orden,1987；Van Orden,Pennington,&Stone,1990；Coltheart,Rastle,Perry,Langdon,&Ziegler,2001)相比较,虽然中文汉字识别不伴随语音激活的观点遭到大量质疑(see Feng,Miller,Shu,&Zhang,2001,for a review),但总体来讲,中文书面文字与语义有更强的关联(see Hoosain,1991,for a summary)。与此同时,大量研究表明,中文语义信息可以在早期得到激活,例如,启动命名任务中可以在SOA=100 ms和SOA=43 ms时得到语义的影响(Zhou,Wu,&Shu,1998；Wu&Shu,2001),启动词汇判断任务中在SOA=57 ms时得到语义的影响(Zhou et al.,2003a),甚至在词一图干扰实验范式中发现了在SOA=57 ms和SOA=0 ms时的语义效应(Yu&Shu,2001；Zhou et al.,2003a；Zhou et al.,2003b)。以上这些实验结果说明,由于中文字形和字义的直接对应关系,中文读者对语义信息非常敏感,因而能得到迅速的激活；中文文字的这种特性为句子阅读中的前视野语义信息激活提供了可能性。
实验采用单因素五水平的被试内项目内的设计,前视野字与目标字的关系分为五个水平:完全一致(identical preview),完全不一致(unrelated preview),字形相关(orthographicallysimilar preview),语音相关(phonologically similar preview),语义相关(semantically similarpreview)。实验数据的统计分析与第二部分一致,使用了线性效应模型,被试变异和项目变异分别作为随机效应进入模型。
结果发现,与当前视野字与目标字完全一致的,加工速度最快,而完全无关条件下的加工时间最长,这与实验前的期待以及前人的实验结果相吻合；字形相似和语义相似的条件下对目标词的加工时间长于完全一致条件而短于完全不一致条件；语音相似条件下对目标词的加工时间与完全不一致条件无差异。简单总结,五种条件下对目标字加工时间的关系为fd(identity)>fd(orthography)=fd(semantics)>fd(phonology)=fd(unrelated)。
以上实验结果充分说明,在注视点达到某一个词之前,已经开了对这个词的某些水平的前视野预加工；而中文前视野预加工所能通达到的水平,既表现出了与西方文字相一致的跨语言共同性,又有基于中文自身语言学特征的语言特异性。具体来讲,无论哪种文字,由书面文字进行阅读必须经由视觉解码这一步,因此中文和西方文字的前视野加工都涉及到了字形／词形的水平；英文和德文等西方文字属于表音文字系统,在激活的过程中执行严格的“形-音-义”序列通达,因此英文中的前视野加工达到语音层次,而中文测读中前视野语音信息的激活则很有局限性；相对,中文是一种表义文字,可以由字形直接通达语义而无需语音中介,即不存在严格的序列性通达过程,实验结果表明,在中文阅读中存在明显的前视野语义信息激活,这是与西方文字非常不一致的地方,也是本论文对阅读中眼动控制机制的重要理论贡献之一。
第四部分,眼跳单元和计算机模拟(saccade unit and simulation)
以上一系列的实验充分表明,中文的眼跳是的基本单位是词,而对前视野中汉字串的切分是中文阅读的关键。另一方面,考虑到中文词长变化较西方文字而言较小,根据Yangand McConkie(2004)眼跳不以词为单位的这一理论,推论中文读者可能采用一种固定长度眼跳策略(fixed length saccade strategy),而无需在前视野中事先切分。
论文的第四部分针对这一观点列出了大量实验证据证明其不合理性。例如,对高可预期性的词更容易跳过,某个词上注视点的数量和首注视点位置收到其语言学属性的影响,前视野信息变化而导致的词边界切分失效引发注视点位置的调整等实验结果并不能被这一理论所解释。此外,我们还对这一固定长度的眼跳这一理论模型进行了计算机模拟并将模拟所得到的数据与实验数据相比较,发现固定长度眼跳的理论模型对单一注视点和跳过这两种情况的预期与实验数据不相吻合。
第五部分,讨论和结论(general discussion and conclusion)
本论文的最后部分,对一系列实验的结果进行了回顾和总结,同时根据本论文中一系列实验研究得到的重要结论,从中文语言文字系统本身的特性出发,提出了对中文阅读中眼动轨迹进行计算机模拟的启发,以及根据已有的基于英文、德文等西方文字阅读特征发展出的模型进行改进时应该注意的问题。