感谢您关注“永大英语”！

基于Rasch模型对高考英语语法填空题构念效度的分析

冯妙玲 李姝瑶

摘要: 本文基于Rasch分析方法，研究全国高考英语语法填空题的构念效度。结合我国某高三401名学生对2018年高考英语全国卷语法填空试题的答题情况，运用Winsteps 3.72.3软件讨论分析结果显示：在一定程度上，试题仍存在构念无关因素和构念体现不足，但总体上看受试者应答数据和模型的拟合度、测量的单维性和测量在不同性别考生间的恒定性均支持试题的构念效度。语法填空题命题者在实际命题过程中应该有效控制试题与预期反映模式的匹配程度，处理好试题难度并关注试题在跨群体中的恒定性。本研究也存在一定局限性，未来研究可以扩大研究群体范围，针对语法填空试题构念效度的其他证据做深入探讨。

关键词: 构念效度；Rasch分析；语法填空题； 全国高考

一、引言

语法测试主要目的是为了测试受试者在语言运用情况中的基本语法能力，其地位在外语

学习中至关重要。“在目标语使用范围内，受试者必须具备特定语法知识和能力才能顺利地完成语法测试任务，并能对受试者的答题进行评分（Purpura, 2004:71）”。语法测试受到越来越多研究者的关注，语法填空题也成为语法测试中用来考察学生语法能力的重要题型。该题型将语法测试和阅读理解相结合，更全面深入地考察学生语法能力（教育部，2017）。2007年，广东高考率先采用语法填空题代替传统的语法单项选择题。随着深化高考考试内容的改革，2014年，全国高考英语也开始使用语法填空试题。2016年至今，共有25个省包括自治区和直辖市使用高考全国统一卷。可见，有必要对全国高考英语语法填空试题进行深入研究。国内外对语法测试研究越来越多，但其研究角度始终比较单一，主要集中在解题方法及技巧上。而在研究语法填空题的效度方面，大多研究关注内容效度，对语法填空题的构念效度研究甚少。因此，本研究拟用Rasch模型来分析检验全国高考英语语法填空题的构念效度，不仅能加强英语高考自身的完善，促进考试的规范化和科学化，也为进一步提高命题质量提供有效建议。

二、文献回顾

2.1语法能力的概念和语法填空题相关研究

1960年，Lado初次提及语言技能，而语言能力一词是由Chomsky于1965年正式提出。Larsen-Freeman (1997)对三维语法能力进行定义，发展至今，语法能力的概念不断发展深化，在二语习得各种能力中都有所体现，对语法能力的研究也越来越广泛，涉及到与语用能力、交际能力、篇章能力等的紧密结合。Purpura(2004)将语法能力当成是考生在语言运用情景中表现出的对语法知识转化的能力。从测试方面来说，语法能力是在语言运用中，将语法知识及策略能力相结合所体现的能力。马广惠、文秋芳(1999)认为语法能力是领会并运用语法知识的能力。随着不断深入的研究，语法能力的概念界定范围在一步步扩大，二语学习者不可能在单独、分裂的语境中学习语法，因此也不能片面培养学习者的语法能力。可见，研究者们在语法能力相关概念上有不同的观点，但从大体上看对语法能力的相关认识是一致的。语法能力是在特定的语言运用情景中对语法形式及意义的运用，语法能力是将语法知识转化成实际中的语法运用能力的必要前提。

Heaton(2001)指出测试语法的题型有十种，语法填空题就是其中一种。语法填空题一般以200词左右的文本作为依托，其中10处需要受试者填写，采用无提示词和有提示词相结合的形式，只有填写正确才能使短文连贯通顺(教育部, 2017)。语法填空可以在句子和语篇层面考查语法、语义的运用能力(Purpura，2004)。徐良、邹申(2013)通过对语法填空和语法选择进行对比研究，初步表明语法填空的效度略高于语法选择题，语法填空更适合用来作为测试题型。梁雪妮(2010)、吴向华(2015)等其他学者从语法考点、出题规律、解题技巧、教学策略等方面探讨了高考语法填空题，但很少有学者对语法填空的效度进行多角度研究。因此，本文运用Rasch模型，从拟合指数、试题难度在变量图上的分布状况、单维性和DIF指数多个维度探讨高考英语语法填空试题的构念效度。

2.2基于Rasch模型分析试题构念效度的依据和参数

Rasch模型由G. Rasch于1960年首次提出之后，在教育测量领域得到了越来越广泛地应用。该模型认为，受试者成功做答试题的概率取决于受试者的能力和试题难度(Bond & Fox, 2001)。Rasch模型将受试者的能力和试题难度参数化，从而计算出受试者的能力值和试题的难度值，并将其放置在同一洛基量尺(logit scale)上进行分析。通常，Rasch 模型应用研究中所指的构念效度是指拟合效度，如非拟合数据在可接受的范围内，则表示测试具有一定的构念效度(张洁, 2014)。构念效度是一个程度问题，构念体现不足(construct under-representation)及构念无关因素(construct-irrelevant variance)是影响构念效度的两个主要因素，构念体现不足表现为测试范围过窄或者说是未能包括构念的主要维度；构念无关因素一般是指测试包含了其他可靠的与拟测构念不相关的因素(Messik, 1989)。

Linacre(2012)提出，Rasch模型中常用拟合指数、变量图的分布状况、单维性、项目功能差异(DIF)数据来分析验证试题的构念效度。拟合指数主要指题目在单维变量中的拟合程度。在变量图中，试题难度应均匀分布，不应有太大距离，太大的距离表明试题难度差异太大，处于题目分布空白区域的考生没有得到精确测量，试题的构念体现不足(Linacre，2012)。Rasch 模型还以单维潜在变量假设概念为基础，换言之，Rasch模型假设，定义潜变量的题目在目标人群所有成员中以相同的方式发生影响，分数的差异可以用单一能力来解释(Linacre，2012)，即题目的单维性。另外，Rasch模型中常用DIF来表示测试的公平性，指在控制团体的能力之后，一个项目在不同的团体中所显示的不同统计特征。目前，国内运用以上指标来分析验证二元计分题目构念效度的研究还是比较少。

三、研究设计

3.1研究问题

本研究拟应用Rasch 模型拟合指数、单维性、变量图、DIF 参数来验证语法填空试

题的构念效度,提出以下三个研究问题：

1) 在多大程度上，拟合指数及单维性数据证明试题测量了语法能力并具有单维性？

2) 变量图中所体现的题目难度分布状况如何？

3) 不同性别考生在语法填空试题答题中的表现如何？是否影响试题的公平性？

3.2研究对象

本研究的被试对象为浙江省某中学401名高三年级学生，其中女生187人，男生214人。该校的英语水平属于市级中等偏上水平，学生来源的多样化可以代表较大范围考生的样本。该批学生参加此次测试时间在2018年8月，离第一次英语高考仅两个月不到的时间，此时学生在测试中的表现与高考要求的水平相近,最具有代表性。

3.3研究工具

研究工具为2018年高考英语全国卷语法填空试题。测试前确保学生未提前做过这份试题并在老师监督下认真独立完成。试题考查了10个不同的语法项目，覆盖面较广，试题具有较强的代表性。从试题分析情况看(表3.3.1)，整套语法试题的话题是关于当代饮食变化，这与学生日常生活息息相关，受试者对此话题非常熟悉，不会因为不理解话题而影响试题的构念效度。另一方面，从试题所考的语法点看，有提示词的试题考察词汇的屈折变化；没有提示词的试题要求受试者根据语境填写语法形式正确的词汇，由此可见，试题所涵盖的语法种类丰富，覆盖面广，具有代表性。

3.4 数据收集和分析

与研究者合作的教师采用高三全年级统一测试的方式，要求每个班在同一段时间内完成2018高考英语全国卷，测试时间为120分钟。在评分环节，教师严格按照2018高考英语全国卷试题所提供的答案进行评分，每空正确得1.5分，错误得0分。结合最后统计的答题情况，研究者使用Rasch模型下的Winsteps3.72.3软件将答题数据录入，并从拟合指数、变量图的分布状况、单维性、项目功能差异(DIF)数据这几个维度来分析验证试题的构念效度。

四、结果与讨论

4.1拟合指数和单维性数据分析

拟合指数表明每个题目在单维变量中的拟合程度，通常采用加权均方拟合值(INFIT MNSQ) 和未加权均方拟合值(OUTFIT MNSQ)来表示。加权均方拟合值和未加权均方拟合值值与1越接近，表明数据与Rasch模型的拟合程度越理想。关于加权均方拟合值和未加权均方拟合值的参照标准区间，一些学者认为0.7-1.2表明数据与模型拟合的程度较理想(如McNamara,1996),也有另外一些学者表示两者的参考值应以数据的类型为前提来决定(Bond & Fox, 2001),在高风险的语言测试中，均方拟合值应该在0.8-1.2之间（Wright & Linacre，1994），ZSTD值(Z值)应该在± 2之间，但对于一般数据来说，0.5-1.5就能说明拟合程度良好(Linacre，2012)。高考是大规模、高风险的考试，因此，本研究采用0.8-1.2的区间。

从表4.1中可以看出，10个题目的加权均方拟合值几乎都在0.8-1.2区间，表明10个题目与模型的拟合程度都比较好。试题难度估计值的标准误差除第3题外，都在±0.3范围内，表示可以接受(Green，2013)。第3题标准误较高的原因是缺少与该试题难度相当水平的考生(如图4.2)，导致试题信息量偏小，影响测量准确度。从未加权均方拟合值看，10个题目与正常值偏差都不大，而且相关系数都在0.2以上，表明项目反映和考生能力的相关程度较好(Pae et al., 2012; Green, 2013)。

单维潜在变量的假设概念是Rasch 模型的基础，也就是说，Rasch 模型假设认为在目标人群的所有成员中，潜变量的题目都以相同方式发生影响(Linacre，2012)，分数的差异能通过单一能力来解释(张春青，2015)。Linarce(2012)认为主成分分析首对比残差的特征值少于2.0，则可作为一个标准，表示数据结构是以单一变量为基础，即单维性的门槛指数为2.0。通过计算维度部分输出的标准化残差方差显示，主成分分析首对比残差的特征值为1.4(＜2.0)，因此，该试题是单维的。

基于以上分析结果，语法填空命题者应该关注题目的拟合数据，当拟合度不符合要求时，命题者应该对试题进行诊断和修订。

4.2变量图分析

变量图4.2中，I0001-I0010为第1题到第10题的题目代码，每个“#”代表11个受试者，“.”代表1-10个受试者，该变量图将个体能力与题目难度放到了同一洛基尺中比较，显示出题目难度和受试者能力的对应程度及题目难度和受试者能力的范围。变量图左侧表示所有考生语法能力的分布，越往上表示受试者语法能力越强；变量图右侧表示10个语法填空题难度的分布，越往上表示试题难度越大。从总体上看，语法能力在+2logits以上的受试者没有与之对应的题目难度，说明该试题对一大部分受试者而言太简单，而第3个题目(I0003)的难度范围已超出两个标准差(S表示一个标准差，T表示两个标准差)，说明该题难度太小，质量较低，几乎无效(Bond & Fox, 2001)。

Linacre(2012)认为，二元计分题目在变量图中的难度分布不应该存在太大空隙，题目难度水平和受试者能力水平的分布相匹配，这样所有考生才能被精确区分。从变量图的分析来看，题目难度分布存在一两处较大空隙，部分考生没有相匹配的试题，可见，测试在一定程度上存在构念体现不足(Baghaei，2008)，试题无法精确区分部分考生。但题目难度分布主要集中在±2logits范围之内，难度分布较均匀，虽不精确但还是能较好区分受试者能力。变量图反应了题目难度整体不高，有几处分布不均匀，但正如表4.2所示，题目还是具有较好的区分度。表4.2显示题目区分指标为5.08，表明该套语法填空试题至少有5个难度级别，题目区分度为0.96，Linacre(2012)研究得出题目区分度>0.8就是在可接受的范围内。因此，总的看来，该套语法测试题能较好区分考生的能力水平。

由于高考时间有限，难以通过增加题目来提高试题的构念效度，因此试题难度的把控是处理好问题的关键。语法填空命题者在命题过程中要综合考虑教学、语境、英汉差异等因素对题目难度的影响，进一步细化语法内容难度层级。

4.3 DIF分析

DIF即项目功能差异，主要关注题目难度在不同群体之间的一致性，只有验证跨群体间的表现具有恒定性，以分数为观测数据，以此做出的决策才有意义，才有可靠性和公平性(Kunnan，2010)，题目的构念效度因此也会更高。在Rasch分析中，主要通过DIF来测量检验跨群体的不变性。在这个过程中，研究者依据显著性水平、显著差异值这两个数据来检验是否真实存在DIF(张春青，2015)。从不同性别间的DIF数据表(表4.3)中可以看出虽然第6题(I0006)的对比值是0.91，达到了引起注意的水平（≥0.5）（Bond & Fox 2001; Linacre 2012），但是在统计学上性别项目功能差异(DIF)并不显著(p＞0.05)，换而言之，试题难度在不同性别群体之间不存在显著变化，没有性别项目功能差异(DIF)。这与国外研究者Hyde & Linn(1988)、Beglar(2010)在词汇测词和语言能力各层面的性别差异研究结论一致。我国研究者贺莉(2012)在语言测试构念效度的性别差异研究中也得出此结论，所以该套语法测试题不存在性别DIF，具有较好的恒定性和公平性。

基于以上分析结果，语法填空命题者在命题过程中要遵循测量不变性的原则，试题的难度在不同群体间应保持一致，在保证试题安全情况下，可以对试题进行小样本试测。

五、结论

结合学生答题情况，根据以上数据分析，从构念无关因素和构念体现不足以及测量的公平性三方面来看，可以得出以下三点结论：(1) Rasch数据分析中，拟合指数和单维性数据显示，该试题存在一些构念无关因素，但试题是单维的，即主要考查了受试者在语篇运用中的语法能力；(2)在变量图中，试题难度分布存在几处空隙表明，该测试存在一定程度的构念体现不足，部分受试者没有与其语法能力水平相匹配的试题，不能精确区分受试者能力，但试题的区分度较好，所以从总体上看，试题能较好区分受试者的语法能力；(3)不同性别受试者间的DIF表明该试题不受男女性别干扰，无损测试的公平性。

总体上看，该试题构念效度仍有提升空间。而构念效度属于程度问题，试题中永远存在构念体现不足及构念无关因素，测试也永远无法完全代表标准行为(Messick, 1996)。对于只包含十个小题的语法填空题测试来说，要使试题难度在变量图分布中不存在太大空隙并均匀排列是一个挑战。提高题目难度与考生能力的匹配程度是解决构念体现不足问题的有效途径(张春青，2015)。本研究结果为全国高考英语语法命题提供参考，促进考试的规范化和科学化。

最后需要指出，本研究由于条件的限制，还存在着较多不足和局限。如，实验中难以预测在实际高风险考试中存在的各种环境参数；受试者样本并非来自真实高考中使用英语全国卷的考生；只收集了来自一个学校的样本和一份试题。因此未来研究者可扩大研究范围、从其他维度研究语法填空试题构念效度，对高考英语语法填空题的研究有待进一步完善。

参考文献

[1] Beglar, D. A. Rasch-based validation of the vocabulary size test[J]. Language Testing, 2010(27): 101-118.

[2] Bond, T. & Fox, C. Applying the Rasch Model: Fundamental Measurement in the Human Sciences[M]. Mahwah: Erlbaum, 2001.

[3] Green, R. Statistical Analyses for Language Testers[M]. Hampshire: Palgrave Macmillan, 2013.

[4] Heaton, J. Writing English Language Tests[M]. Beijing: Foreign Language Teaching and Research Press, 2000.

[5] Hyde, J. & Linn, M. Gender differences in verbal ability: A meta-analysis[J]. Psychological Bulletin, 1988(104): 53-69．

[6] Kunnan, A. J. Test fairness and Toulmin’s argument structure[J]. Language Testing, 2010(27): 183-189．

[7] Larsen-Freeman, D. Teaching grammar[A]. In Marianne Celce-Murcia (ed.), Teaching English as a Second or Foreign Language[C], Boston: Heinle and Heinle Publishers, 1991.

[8] Linacre, J. M. A User’s Guide to WINSTEPS: Rasch-Model Computer Programs [M]. Chicago: Mesa Press, 2003.

[9] Messick, S. Validity[A]. In Linn, R. L.(ed.). Educational Measurement[C]. New York: MacMillan, 1989: 13-103.

[10] Messick, S. Validity and washback in language testing[J]. Language Testing, 1996(13): 241-256.

[11] Purpura, J. Assessing Grammar[M]. Cambridge: Cambridge University Press, 2004.

[12] Rasch, G. Probalistic Models for Some Intelligence and Attainment Tests[M]. Chicago: The University of Chicago Press, 1960.

[13] Wright, B. D. & Linacre, J. M. Reasonable mean-square fit values[J]. Rasch Measurement Transactions, 1994(8): 370.

[14] 贺莉. 语言测试构念效度的性别差异研究[J]. 解放军外国语学院学报, 2012(5): 63-68.

[15] 教育部考试中心. 普通高等学校招生全国统一考试大纲[M]. 高等教育出版社, 2017.

[16] 梁雪妮. 高考英语新题型下“语法填空题”教学策略及评价—一节“语法填空题”课的教学设计与反思[J]. 新课程研究(基础教育), 2010(6):29-30.

[17] 马广惠, 文秋芳. 大学生英语写作能力的影响因素研究[J]. 外语教学与研究, 1999(4): 41-42.

[18] 吴向华. 提高课堂教学效率,攻克高考英语语法填空新题型[J]. 英语教师, 2015(6): 126-127.

[19] 徐良, 邹申. 高考英语(上海卷)语法评价模式的对比分析与思考[J]. 外语电化教学, 2013(6): 11-16.

[20] 张春青. 高考英语语法填空题构念效度的Rasch模型分析[J]. 现代外语, 2015(2):

258-268.

[21] 张洁. 语言测试研究中的多层面Rasch模型——原理简介和研究综述[J]. 外语测试与教学, 2014(3): 50-59.

A Rasch-Based Analysis of Construct Validity of Grammar Gap-filling Task in National Matriculation English Test

Feng Miaoling Li Shuyao

Abstract: This paper aims to explore the construct validity of grammar gap-filling task in National Matriculation English Test based on Rasch analysis. 401 senior three students completed the grammar gap-filling task of 2018 National Matriculation English and the scores were analyzed by Winsteps3.72.3. The research results show that the construct validity of grammar gap-filling task in National Matriculation English can be improved though the fit statistics, measurement invariance, unidimensionality and DIF index support it in general. The test designers of the English grammar gap-filling task should effectively control the value of item fit, the value of item difficulty and the construct invariance in the process of designing the grammar gap-filling task. To some extent, there are also some limitations in this study. Researchers can expand the scope of the sample subjects and further explore other evidences for the construct validity of the grammar gap-filling task in the future study.

Key words: construct validity, Rasch analysis, grammar gap-filling task, National Matriculation English Test

附录：2018全国高考英语语法填空题真题

第二节 (共10小题；每小题1.5分，满分15分)

阅读下面短文，在空白处填入1个适当的单词或括号内单词的正确形式。

Diets have changed in China—and so too has its top crop. Since 2011, the country 61 (grow) more corn than rice. Corn production has jumped nearly 125 percent over 62 past 25 years, while rice has increased only 7 percent.

A taste for meat is 63 (actual) behind the change: An important part of its corn is used to feed chickens, pigs, and cattle. Another reason for corn's rise: The government encourages farmers to grow corn instead of rice 64 (improve) water quality. Corn uses less water 65 rice and creates less fertilizer(化肥) runoff. This switch has decreased 66 (pollute) in the country's major lakes and reservoirs and made drinking water safer for people.

According to the World Bank, China accounts for about 30 percent of total 67 (globe)fertilizer consumption. The Chinese Ministry of Agriculture finds that between 2005—when the government 68 (start) a soil-testing program 69 gives specific fertilizer recommendations to farmers - and 2011, fertilizer use dropped by 7.7 million tons. That prevented the emission(排放) of 51.8 million tons of carbon dioxide. China's approach to protecting its environment while 70 (feed) its citizens "offers useful lessons for agriculture and food policymakers worldwide." says the bank's Juergen Voegele.

（本文首次发表在《基础教育外语教学研究》2019年第6期）