论文部分内容阅读
摘 要: 近年来,高等学校英语应用能力考试受到了越来越多的重视和关注。本文以2001年至2006年的12份试卷的“词汇用法和语法结构”(Vocabulary and Grammar)部分共240道题为样本,从三个方面(测试内容是否和测试目标有关;测试内容是否具有代表性;测试内容是否符合测试对象)对其进行内容效度分析,希望对该考试的命制有所帮助,并提出了一些建议以提高其试卷的质量。
关键词: 高等学校英语应用能力考试 词汇用法和语法结构 内容效度
1.引言
随着社会对高等技术应用性人才需求的不断扩大,我国高等职业教育的发展得到了很好的发展,规模也迅速扩大。目前在全国1731所普通高校中,高职高专有1047所,占总数的60.49%。近年来,高职高专的毕业生人数和在校人数都超过了全国本科大学生,参加高等学校英语应用能力考试(Practical English Test for College,RETCO)的人数也逐年增加。
PRETCO是由教育部批准成立的高等学校英语应用能力考试委员会设计、供高职高专院校和成人高专院校学生自愿参加的标准化考试,也是由教育部高等教育司委托全国高职高专英语课程教学指导委员会和全国高等学校英语应用能力考试委员组织进行的国家级考试。根据《高等学校英语应用能力考试大纲》(以下简称《大纲》),该考试是为检测高职高专学生是否达到所规定的教学要求而设置的考试。它以《高职高专教育英语课程教学基本要求》(以下简称《基本要求》)为依据,既测试语言知识,又测试语言技能;既测试一般性语言内容又测试与涉外业务有关的内容,它的目的是考核考生的语言知识、语言技能和使用英语处理有关一般业务和涉外交际的基本能力,主要考核考生实际应用英语进行日常和业务涉外交际的能力,旨在促进高职高专英语教学向培养高等应用技术型人才的方向进行改革;同时为用人单位提供对高职高专毕业生英语水平的评价标准,以提高其进入人才市场的竞争力。从测试的目的可以看出,该考试的性质实际是一项英语水平考试,这一点在《大纲》中也明确地提了出来。
考虑到我国高职高专学生英语入学水平的现状,《基本要求》将教学要求分为A级要求和B级要求,PRETCO也相对应地分为A级考试和B级考试。A级为标准级别,覆盖《基本要求》的全部内容,B级对应于《基本要求》的B级范围,属于过渡级别。目前广东省大部分高职高专院校对学生的要求是通过B级,由于篇幅所限,本文仅探讨PRETCO的B级考试。
根据《大纲》,B级考试主要包括五个部分:听力理解、词汇用法和语法结构、阅读理解、翻译(英译汉)和写作(或汉译英)。《大纲》中对各部分的测试题型、内容及时间安排都作了具体的规定。那么,近几年来该考试的试卷质量如何呢?通常一份试卷的质量好坏,一般要看它的效度(validity)、信度(reliability)、难度(power)、区分度(discrimination)、实用性(practicality)及后效作用(backwash)。效度,也叫有效性,是指一套测试所考的是否就是设计人想要考查的内容。效度的高低是语言测试最重要的指标,是语言测试的基本出发点(刘润清,2000)。某次測试的效度如何,可以从几个不同方面去说明、验证,如内容效度(content validity)、结构效度(construct validity)、预测效度(predictive validity)和共时效度(concurrent validity)(李筱菊,1997)。本文仅从内容效度方面,对高职高专英语应用能力考试(B级)考试第二部分“词汇用法和语法结构”进行一些统计分析,并根据统计分析结果提出合理的建议,以引起命题者的注意。
2.“词汇用法和语法结构”的内容效度分析
语言测试的内容效度是指测试是否考了它所要考的,即是否考了大纲规定要考的(李筱菊,1997)。验证考试的内容效度如何,主要看试题设计和试题产生是否严格依据《大纲》进行,测试中所涉及的内容是否具有代表性,是否能准确、全面、充分体现《大纲》要测试的内容。因此,要评估该考试“词汇用法和语法结构”的内容效度,就要把其测试内容与《基本要求》作一比较,看其是否符合《基本要求》的规定。为了便于统计,我以2001年6月至2006年12月共12份试卷的“词汇用法和语法结构”部分的测试内容(即360道题)为样本,根据依据《基本要求》和《大纲》就以下三个方面进行内容效度分析。
2.1测试内容与测试目标的相关性
一直以来,B级考试的词汇用法和语法结构部分共有20题,其中10题为多项选择题(占总分值的5%);10题为填空题(占总分值的10%),要求根据所给句子的结构和内容,写出括号里所给单词的适当形式。“词语用法和语法结构”部分根据命题内容为标准可划分为词汇测试题和语法测试题。也就是说,如果试题主要考查词汇意义或搭配问题,则该试题属于词汇测试题;如果试题的命题内容涉及语法范围,即句法或词法时,那么该试题就为语法测试题。通过对12份试卷的分析不难发现,多项选择题的有些题目,是属于词汇测试题,举例如下:
If you travel in a foreign country,a tour_______may save you a lot of trouble.(2004年6月第23题)
A.director_______B.helper_______C.guide_______D.assistant
该试题的考点为词义辨析,“tour guide”为固定搭配,意为“导游”其他三个选项均为干扰项,因此该试题就归属于词汇测试题。
而填空题的有些题目,很明显是属于语法测试题,举例如下:
They talked to him for hours,(try)_______to persuade him to change his mind.(2006年12月第30题)
该试题的考点为非谓语动词作状语,根据是“(try)_______to persuade him to change his mind”此处作状语,表示伴随情况,对谓语加以说明。因此,正确答案为trying。现在分词作状语表示主语正在进行的另一动作,对谓语表示的动作或状态加以说明。因此该试题就属于语法结构测试题。
从表一中可以发现,从2001年到2006年的这12次考试中,在“词语用法和语法结构”部分的240道题中,词汇测试题占113道,语法测试题占127道。也就是说,在“词语用法和语法结构”部分词汇测试题和语法测试题的比例几乎相当,约为1∶1.12,语法测试题的出题份额稍占优势。总体看来,体现出对词汇、词组、短语用法和语法结构的均衡考查。但是值得引起注意的是,“词语用法和语法结构”部分的两种题型的分值是不一样的,每个多项选择题的分值为0.5分,而填空题则为1分。因此,从分值的分布来看,语法测试题的分值明显大于词汇测试题的比重,从这点来说试题体现了对语法测试的重视。
《大纲》规定,“词语用法和语法结构”的测试目标是测试考生运用语法知识的能力。测试范围包括《基本要求》中的“词汇表”和“语法结构表”所规定的全部内容,即“认知2500个英语单词(包括入学时要求掌握的1000个词),以及由这些词构成的常用词组,对其中1500左右的单词能正确拼写,英汉互译;掌握基本的英语语法规则,在听、说、读、写、译中能正确运用所学语法知识”。从语法测试题来看,这些题基本涵盖了《基本要求》中“语法结构表”所列出来的语法知识点;而词汇测试部分的试题主要的考点为词形转换、固定搭配、近义近形词辨析和短语动词等,也很好地符合了《基本要求》规定要求学生掌握的词类和构词法的词缀法、转化法和合成法等词汇知道的要求。由此,我们可以肯定地得出“词语用法和语法结构”的两类试题和《考试大纲》所规定的测试目标是一致的,具有较高的内容效度。
2.2测试的内容是否具有代表性
测试内容是否具有代表性是指考试题目取样的代表性如何,而评估试卷的代表性如何要看试题样本是否充分全面体现了要考查的全部内容。试卷的代表性如何直接影响测试效度的高低。表二是对这12套试卷的“词语用法和语法结构”部分的127道语法测试题所作的进一步详细分类。
表2 127道语法测试题考点分布一览表
从表3我们可以看出,从2001年到2006年的这12次考试中,在“词语用法和语法结构”部分对词匯的测试占较大比重的是词形转换,而且这类考题都是以填空题的形式出现,这很好地弥补了多项选择题测试词汇的单一性的不足之处,也较好地体现了《大纲》规定的“测试考生运用语法知识的能力”这一点,具有很好的内容效度。
2.3测试内客是否适合测试对象
“词语用法和语法结构”试题的测试内容是否符合测试对象,从历次的测试结果和学生的实际情况分析,答案应该是肯定的。从每届学生的考试成绩来看,“语法与词汇”部分很少有得满分的,也很少有得零分的。而填空题对考生运用语法知识的要求更高,这一部分学生失分较多。总体来说,其测试内容基本上符合大部分的测试对象,其内容效度也是不错的。
但是,我们也发现,在这12份试卷的240题试题中,有些考题测试内容重复,举例如下:
After careful(consider),the committee decided to recommend Mr.Smith for the post.(2001年月6第35题)
After careful(consider),the committee agreed on the proposal.(2002年月12第32题)
这两道题测试的考点是consider一词的名词形式,从形式上看几乎一模一样。而通常考生在复习迎考前,都会找出往年的全真题来进行模拟测试,试想考生在考场做题时欣喜地发现题目是才做过的,他根本无需思考就能做对试题,那么这道题对于考生来说就没有什么效度可言。如果一套试题出现了用之前考过的类似试题,该试卷的整体内容效度势必会受到影响。而同一份试卷中的测试内容则没有发现测试考点重复的现象。
3.结语
从以上分析来看,PRETCO中的“词语用法和语法结构”试题的命制具有较高的内容效度。和CET—4和CET—6等大规模标准化考试比起来,PRETCO开始时间虽不长,但已成为衡量高职高专院校学生英语水平的一个较为统一的尺度。近几年的实践表明。英语能力考试对于提高高职高专院校学生的英语应用能力起到了积极的作用,也得到了更多的关注和重视。为了提高测试的内容效度和试卷质量,命题者须注意:第一,严格按照《大纲》的规定来命制试题,做到对考点的全面覆盖。第二,避免测试内容的重复。只要这样才能进一步提高PRETCO试卷的内容效度和质量。
参考文献:
[1]李筱菊.语言测试科学与艺术[M].长沙:湖南教育出版社,1997.
[2]刘润清,韩宝成.语言测试和它的方法[M].北京:外语教学与研究出版社,2000.
[3]教育部高等教育司.高职高专教育英语课程教学基本要求[M].北京:人民教育出版社,2000.
[4]徐清平,张延续.英语专业四级考试“语法与词汇”内容效度分析[J].外语研究,2004,(2).
[5]2001年-2006年PRETCO(B级)12份试卷.
关键词: 高等学校英语应用能力考试 词汇用法和语法结构 内容效度
1.引言
随着社会对高等技术应用性人才需求的不断扩大,我国高等职业教育的发展得到了很好的发展,规模也迅速扩大。目前在全国1731所普通高校中,高职高专有1047所,占总数的60.49%。近年来,高职高专的毕业生人数和在校人数都超过了全国本科大学生,参加高等学校英语应用能力考试(Practical English Test for College,RETCO)的人数也逐年增加。
PRETCO是由教育部批准成立的高等学校英语应用能力考试委员会设计、供高职高专院校和成人高专院校学生自愿参加的标准化考试,也是由教育部高等教育司委托全国高职高专英语课程教学指导委员会和全国高等学校英语应用能力考试委员组织进行的国家级考试。根据《高等学校英语应用能力考试大纲》(以下简称《大纲》),该考试是为检测高职高专学生是否达到所规定的教学要求而设置的考试。它以《高职高专教育英语课程教学基本要求》(以下简称《基本要求》)为依据,既测试语言知识,又测试语言技能;既测试一般性语言内容又测试与涉外业务有关的内容,它的目的是考核考生的语言知识、语言技能和使用英语处理有关一般业务和涉外交际的基本能力,主要考核考生实际应用英语进行日常和业务涉外交际的能力,旨在促进高职高专英语教学向培养高等应用技术型人才的方向进行改革;同时为用人单位提供对高职高专毕业生英语水平的评价标准,以提高其进入人才市场的竞争力。从测试的目的可以看出,该考试的性质实际是一项英语水平考试,这一点在《大纲》中也明确地提了出来。
考虑到我国高职高专学生英语入学水平的现状,《基本要求》将教学要求分为A级要求和B级要求,PRETCO也相对应地分为A级考试和B级考试。A级为标准级别,覆盖《基本要求》的全部内容,B级对应于《基本要求》的B级范围,属于过渡级别。目前广东省大部分高职高专院校对学生的要求是通过B级,由于篇幅所限,本文仅探讨PRETCO的B级考试。
根据《大纲》,B级考试主要包括五个部分:听力理解、词汇用法和语法结构、阅读理解、翻译(英译汉)和写作(或汉译英)。《大纲》中对各部分的测试题型、内容及时间安排都作了具体的规定。那么,近几年来该考试的试卷质量如何呢?通常一份试卷的质量好坏,一般要看它的效度(validity)、信度(reliability)、难度(power)、区分度(discrimination)、实用性(practicality)及后效作用(backwash)。效度,也叫有效性,是指一套测试所考的是否就是设计人想要考查的内容。效度的高低是语言测试最重要的指标,是语言测试的基本出发点(刘润清,2000)。某次測试的效度如何,可以从几个不同方面去说明、验证,如内容效度(content validity)、结构效度(construct validity)、预测效度(predictive validity)和共时效度(concurrent validity)(李筱菊,1997)。本文仅从内容效度方面,对高职高专英语应用能力考试(B级)考试第二部分“词汇用法和语法结构”进行一些统计分析,并根据统计分析结果提出合理的建议,以引起命题者的注意。
2.“词汇用法和语法结构”的内容效度分析
语言测试的内容效度是指测试是否考了它所要考的,即是否考了大纲规定要考的(李筱菊,1997)。验证考试的内容效度如何,主要看试题设计和试题产生是否严格依据《大纲》进行,测试中所涉及的内容是否具有代表性,是否能准确、全面、充分体现《大纲》要测试的内容。因此,要评估该考试“词汇用法和语法结构”的内容效度,就要把其测试内容与《基本要求》作一比较,看其是否符合《基本要求》的规定。为了便于统计,我以2001年6月至2006年12月共12份试卷的“词汇用法和语法结构”部分的测试内容(即360道题)为样本,根据依据《基本要求》和《大纲》就以下三个方面进行内容效度分析。
2.1测试内容与测试目标的相关性
一直以来,B级考试的词汇用法和语法结构部分共有20题,其中10题为多项选择题(占总分值的5%);10题为填空题(占总分值的10%),要求根据所给句子的结构和内容,写出括号里所给单词的适当形式。“词语用法和语法结构”部分根据命题内容为标准可划分为词汇测试题和语法测试题。也就是说,如果试题主要考查词汇意义或搭配问题,则该试题属于词汇测试题;如果试题的命题内容涉及语法范围,即句法或词法时,那么该试题就为语法测试题。通过对12份试卷的分析不难发现,多项选择题的有些题目,是属于词汇测试题,举例如下:
If you travel in a foreign country,a tour_______may save you a lot of trouble.(2004年6月第23题)
A.director_______B.helper_______C.guide_______D.assistant
该试题的考点为词义辨析,“tour guide”为固定搭配,意为“导游”其他三个选项均为干扰项,因此该试题就归属于词汇测试题。
而填空题的有些题目,很明显是属于语法测试题,举例如下:
They talked to him for hours,(try)_______to persuade him to change his mind.(2006年12月第30题)
该试题的考点为非谓语动词作状语,根据是“(try)_______to persuade him to change his mind”此处作状语,表示伴随情况,对谓语加以说明。因此,正确答案为trying。现在分词作状语表示主语正在进行的另一动作,对谓语表示的动作或状态加以说明。因此该试题就属于语法结构测试题。
从表一中可以发现,从2001年到2006年的这12次考试中,在“词语用法和语法结构”部分的240道题中,词汇测试题占113道,语法测试题占127道。也就是说,在“词语用法和语法结构”部分词汇测试题和语法测试题的比例几乎相当,约为1∶1.12,语法测试题的出题份额稍占优势。总体看来,体现出对词汇、词组、短语用法和语法结构的均衡考查。但是值得引起注意的是,“词语用法和语法结构”部分的两种题型的分值是不一样的,每个多项选择题的分值为0.5分,而填空题则为1分。因此,从分值的分布来看,语法测试题的分值明显大于词汇测试题的比重,从这点来说试题体现了对语法测试的重视。
《大纲》规定,“词语用法和语法结构”的测试目标是测试考生运用语法知识的能力。测试范围包括《基本要求》中的“词汇表”和“语法结构表”所规定的全部内容,即“认知2500个英语单词(包括入学时要求掌握的1000个词),以及由这些词构成的常用词组,对其中1500左右的单词能正确拼写,英汉互译;掌握基本的英语语法规则,在听、说、读、写、译中能正确运用所学语法知识”。从语法测试题来看,这些题基本涵盖了《基本要求》中“语法结构表”所列出来的语法知识点;而词汇测试部分的试题主要的考点为词形转换、固定搭配、近义近形词辨析和短语动词等,也很好地符合了《基本要求》规定要求学生掌握的词类和构词法的词缀法、转化法和合成法等词汇知道的要求。由此,我们可以肯定地得出“词语用法和语法结构”的两类试题和《考试大纲》所规定的测试目标是一致的,具有较高的内容效度。
2.2测试的内容是否具有代表性
测试内容是否具有代表性是指考试题目取样的代表性如何,而评估试卷的代表性如何要看试题样本是否充分全面体现了要考查的全部内容。试卷的代表性如何直接影响测试效度的高低。表二是对这12套试卷的“词语用法和语法结构”部分的127道语法测试题所作的进一步详细分类。
表2 127道语法测试题考点分布一览表
从表3我们可以看出,从2001年到2006年的这12次考试中,在“词语用法和语法结构”部分对词匯的测试占较大比重的是词形转换,而且这类考题都是以填空题的形式出现,这很好地弥补了多项选择题测试词汇的单一性的不足之处,也较好地体现了《大纲》规定的“测试考生运用语法知识的能力”这一点,具有很好的内容效度。
2.3测试内客是否适合测试对象
“词语用法和语法结构”试题的测试内容是否符合测试对象,从历次的测试结果和学生的实际情况分析,答案应该是肯定的。从每届学生的考试成绩来看,“语法与词汇”部分很少有得满分的,也很少有得零分的。而填空题对考生运用语法知识的要求更高,这一部分学生失分较多。总体来说,其测试内容基本上符合大部分的测试对象,其内容效度也是不错的。
但是,我们也发现,在这12份试卷的240题试题中,有些考题测试内容重复,举例如下:
After careful(consider),the committee decided to recommend Mr.Smith for the post.(2001年月6第35题)
After careful(consider),the committee agreed on the proposal.(2002年月12第32题)
这两道题测试的考点是consider一词的名词形式,从形式上看几乎一模一样。而通常考生在复习迎考前,都会找出往年的全真题来进行模拟测试,试想考生在考场做题时欣喜地发现题目是才做过的,他根本无需思考就能做对试题,那么这道题对于考生来说就没有什么效度可言。如果一套试题出现了用之前考过的类似试题,该试卷的整体内容效度势必会受到影响。而同一份试卷中的测试内容则没有发现测试考点重复的现象。
3.结语
从以上分析来看,PRETCO中的“词语用法和语法结构”试题的命制具有较高的内容效度。和CET—4和CET—6等大规模标准化考试比起来,PRETCO开始时间虽不长,但已成为衡量高职高专院校学生英语水平的一个较为统一的尺度。近几年的实践表明。英语能力考试对于提高高职高专院校学生的英语应用能力起到了积极的作用,也得到了更多的关注和重视。为了提高测试的内容效度和试卷质量,命题者须注意:第一,严格按照《大纲》的规定来命制试题,做到对考点的全面覆盖。第二,避免测试内容的重复。只要这样才能进一步提高PRETCO试卷的内容效度和质量。
参考文献:
[1]李筱菊.语言测试科学与艺术[M].长沙:湖南教育出版社,1997.
[2]刘润清,韩宝成.语言测试和它的方法[M].北京:外语教学与研究出版社,2000.
[3]教育部高等教育司.高职高专教育英语课程教学基本要求[M].北京:人民教育出版社,2000.
[4]徐清平,张延续.英语专业四级考试“语法与词汇”内容效度分析[J].外语研究,2004,(2).
[5]2001年-2006年PRETCO(B级)12份试卷.