高风险考试反拨效应研究：研究生入学统一考试英语写作任务的备考研究

发布时间：2017-12-12 16:42

  本文关键词：高风险考试反拨效应研究：研究生入学统一考试英语写作任务的备考研究

  更多相关文章： 高风险 考试 反拨 效应 研究 研究生 入学 统一 英语 写作 任务 备考

【摘要】：考试的社会权重越大,考试结果对考生的影响越深,该考试的风险就越高(杨惠中＆桂诗春2007：369)。近年来,高风险考试的反拨效应(washback effect),即考试对教与学的影响,日益受到考生、教师、考试设计者、政策制定者等涉考者(stakeholders)的高度关注。然而,国内外反拨效应研究领域尚未就界定反拨效应性质的标准达成共识,现有的反拨效应运行机制和研究模型也有待改进。此外,反拨效应研究较多关注考试对课堂以及对教师教学的影响,而考生作为反拨效应的主体却缺乏实证研究的支持(Wall2000; Watanabe2004; He2010;亓鲁霞2011)。考试备考(test preparation)是显性反拨效应在特定时期的具体体现(Prodromou1995; Watanabe2004b),考生对考试任务的理解和备考实践在反拨效应运行机制中占据着重要地位。因此,本研究着眼于高风险考试的考试备考,以考生为反拨效应研究的主体,分析考生对考试任务的理解和备考实践并构建高风险考试备考运行机制,从而为洞察反拨效应的复杂过程提供实证支持。 结合中国测试实践,本研究以全国硕士研究生招生英语考试写作任务的备考为研究对象,探索大规模、高风险考试的备考过程。考研英语(Graduate School Entrance English Examination,简称GSEEE)属于常模参照的大规模英语水平测试,目的在于科学、公平、有效地测量考生的英语语言运用能力,以利于各高等学校和科研院所进行择优选拔。作为高风险的选拔性考试,考研英语经历了一系列调整和改革。2005年,考研英语的写作部分在原有大作文的基础上增加了应用文写作,其分值由20分增至30分。考研英语的题型改革对考生的语言综合运用能力提出了更高要求,侧重考察学生的英语交际能力。另一方面,考研英语的题型改革期望在有效选拔考生的基础上,对考生备考和英语学习发挥积极影响,发挥高风险考试正面的反拨效应。 本实证研究主要基于“参与者一过程一结果”反拨效应研究模型(Hughes1993; Bailey1996; Cheng2005; Green2007),重点考察在反拨效应运行机制下,考生针对考研英语写作任务所展开的备考实践。综上所述,本研究有以下三个研究目的：1)分析考生对考研英语写作任务的态度和理解；2)揭示考研英语写作任务的备考实践,并构建高风险考试备考实践的运行机制；3)探讨反拨效应运行机制下考生的备考成效以及影响考试成绩的因素。 单一的调查方法和视角收获有限,有时甚至可能产生误导性的数据(Cohen et al.2000：238)。因此,反拨效应实证研究在研究方法上采用多种调查方法(问卷、采访、课堂观察、文献分析、教材分析等)、从多个视角(各个涉考群体研究数据的采集)解读和探究反拨效应及其运行机制。本研究的数据收集历经两个阶段：首先,研究者对来自9所高校和2所考研培训机构的623名考生,以及某考研英语阅卷点的84名阅卷员开展了较大样本的问卷调查。同时,为进一步挖掘各个涉考群体对考研英语写作任务的理解、写作备考实践以及备考成效,研究者随后对20名考生、10名阅卷员和5名培训机构的教师进行了一对一的半结构式访谈。本研究采用定量与定性相结合的分析方法。定量分析侧重考生和阅卷员问卷调查,构建考生备考实践的运行机制并探讨影响考试成绩的因素,分析工具为SPSS20和Amos20。定性分析主要针对考生和阅卷员的半结构式访谈,采用Nvivo10编码和识别访谈的主题并对其进行解释性的分析。 针对第一个研究目的,本研究重点分析考生对考研写作任务的态度和理解,包括对考试目的、重要性、难度的判断,对写作任务所考察的写作能力构念的理解以及写作备考成效的自我预期。考生问卷分析和半结构式访谈结果表明：第一,考生具有强烈的工具取向型动机,主要表现在提升未来就业竞争力、实现自我目标以及对知识本身的追求这三大方面。由此可见,考生的考研动机不仅反映出考生对个人目标的追求,同时越来越受到经济、社会、文化等外部因素的影响。第二,考试的结果越重要,考试的风险就越高。考研英语复试分数线的设定极大地增加了考研英语的风险。绝大多数考生视考研英语为“高风险”考试(M=4.34,1=非常不重要,5=非常重要)。考生访谈的定性分析显示：由于考生英语水平的不同,考生个体在对考研英语重要性的判断上存在差异。此外,题型难度和权重这两个因素影响着考生对英语写作任务重要性的判断。第三,本研究通过SPSS20对考生所理解的考研英语写作能力构念进行探索性因子分析,结果显示：问卷成分结构清晰(KM0=.928；Sig.=.00),整体信度为.918,最终提取了3个特征值大于1的因子,累计解释62.51%的差异量。考生所理解的考研英语写作能力构念由3个基本因子构成,分别是：F1语域与写作规范、F2内容与结构、F3词汇与语言运用。考生访谈的定性分析进一步表明：考生对写作要求有相对全面的认识,主要来源于《考试大纲》所提供的写作考查目标和作文评分参考。第四,考生对试题难易程度的判断与教育部考试中心近三年公布的考研英语试题难度基本吻合。考生认为考研英语整体难度较高(M=4.05,1=非常容易,5=非常难),议论文写作其次(M=3.77),应用文写作(M=3.37)次之。第五,在考试结果的预期方面,考生普遍对通过英语复试分数线持积极态度。同时,考生认为开展写作备考活动能在一定程度上提高写作成绩,写作备考成效的自我预期适中。 针对第二个研究目的,本研究重点考察考生针对考研英语写作任务开展的备考活动和备考策略,并运用结构方程模型构建高风险考试备考实践的运行机制。考研考生普遍开展短期、密集的备考活动,在英语写作任务上投入的平均备考时长为24.17小时,属于短时间、高强度的突击性备考实践。在23项具体开展的英语写作备考活动中,采用主成分分析法按方差最大斜交旋转法对备考活动使用频率进行探索性因子分析,结果显示：问卷成分结构清晰(KMO=.897；Sig.=.00),整体信度为.893,最终提取5个特征值大于1的因子,累计解释58.6%的差异量。根据5个因子下属题项所覆盖的内容,因子依次命名为：F1背诵输入、F2熟悉写作任务、F3写作综合练习、F4写作技能训练、F5题型操练。配对样本T检验对五个因子的平均分进行两两比较,均呈现显著性的差别(p.001)。在考研英语写作备考活动中,背诵输入的使用频率最高(M=3.76,1=从不使用,5=密集使用),其次是题型操练(M=3.51)和写作技能训练(M=3.37),而考生较少开展熟悉写作任务的备考活动(M=3.20)以及写作综合练习(M=2.29)。考生备考策略和备考资源的定性分析显示：在备考考研写作任务上,市面上盛行的备考辅导资料对考生备考模式产生了巨大影响。参加考研培训班和自主备考的考生在写作备考模式上较为统一,这在很大程度上归因于辅导材料中的备考原则和备考方法较为雷同。此外,本研究引入教育心理学的期望价值理论(Expectancy-Value Theory)解释考生对考试目的和试题任务的认知对备考实践的影响,并基于此理论构建高风险考试备考的运行机制。根据期望价值理论(WigfieldEccles2000),备考模型假设考生对考研英语写作任务的认知影响考生对考试结果的预期,考试目的影响考生对考试重要性(价值)的判断,考试预期和价值判断作为中介变量影响考生的备考实践。本研究通过AMOS20运用结构方程模型最大似然法对问卷数据进行验证性因子分析,对备考模型进行验证和进一步修正。修正后的模型更简约、拟合指数较高(χ2=123.072, df=38,RMSEA=.060,CFI=.950,GFI=.966,TLI=.927,AIC=179.072, CAIC=331.239),最终模型合理解释了高风险考试备考实践的运行机制。通过分析模型发现：第一,考研英语复试分数线的设定强化了考生备考的“要求型(强制型)”动机(Chen at al.2005),考试目的对考生的备考实践产生一定程度的影响。考试目标性越强,考生越倾向于积极开展形式多样的备考活动。第二,考生对写作任务的认知对备考实践的影响相对较弱,这表明考研英语写作任务的设计和题型改革对考生开展的写作备考活动影响较小。第三,对考试重要性的判断和考试预期在考研英语写作备考模型中均发挥着重要的中介作用。其中,考试重要性的中介作用尤为明显,考生对考试越重视,其备考实践越投入、越积极。 针对第三个研究目的,本研究着重分析写作备考实践的结果,从备考有效性的角度出发探讨影响考试成绩的因素。以考研英语写作成绩为因变量建立多元线性回归模型,结果表明：第一,写作备考时间对写作成绩的预测能力显著(β=.2.38,p二.001),解释的差异量为7.6%。本研究结果表明考生可以通过写作备考提高考研英语写作成绩。另一方面,写作备考时间的回归系数也修正了考生群体中对短时间强化备考“不切实际”的过高期望(ElderO' Loughlin2003:237)。第二,在23项考研英语写作备考活动中，，练习在规定的时间内完成写作任务以及熟悉应用文的考试题型这两项备考活动显著影响考试成绩(β=.163,p=.03；p=.144,β=.046),而背诵考研写作尤能句型这一备考活动对成绩产生负面影响(β=-.225,p=.002)。为进一步探析上述研究发现,本研究引入考研写作阅卷员视角。作为直接涉考者(direct stakeholder),阅卷员和考生对考研写作任务和备考实践认识上的差异将直接影响考试成绩和考生的备考成效。曼一惠特尼U检验显示,考生和阅卷员对备考活动有用程度的判断存在很大差异。其中,考生普遍认为在词汇、句子和语篇层面的背诵输入能在很大程度上帮助备考并有效提高写作成绩,而阅卷员则认为写作综合练习、熟悉写作任务和写作技能训练这三项备考实践能更有效地提高考生的写作成绩。此外,研究问题三还从考研写作评分过程出发,进一步解读写作评分标准和阅卷员的文本关注点。阅卷员半结构式访谈的定性分析显示：首先,在评分过程中,阅卷员除了关注考研作文中的语言使用、写作规范、写作内容和篇章结构,还关注评分标准之外的文本特征,尤其是考研作文中的模版痕迹。第二,阅卷员之间的评分差异不仅反映在文本关注点上,还反映在阅卷员对存在较明显模版痕迹作文的严厉度上,尤其在缺乏考研作文阅卷经验的阅卷员之间最容易出现个体差异。 基于上述研究发现,本研究有如下三个层面的启示： 在理论层面,反拨效应是一个极其复杂的现象,涉及一切与考试有关的人员,目前尚未得到充分、全面的解释(AldersonBanerjee2001；杨惠中＆桂诗春2007)。本研究把学习者作为主要研究对象,重点关注考生作为直接涉考者对考研写作任务的理解和备考实践,这是对Hughes(1993)和Green(2007)“参与者一过程一结果”反拨效应研究理论的有力补充。第二,本研究运用结构方程模型构建高风险考试备考实践的运行机制,量化分析考试目的和试题任务的认知对备考实践的影响,丰富了备考研究和反拨效应研究的途径和方法。第三,反拨效应运行机制的相关研究较多关注“参与者一过程”以及反拨效应的正面/负面性质(亓鲁霞2011),对参与者最终学习结果的相关研究极少(Green2007: Xie2013).本研究结合考研英语写作成绩,通过回归模型探讨反拨效应运行机制下考生的备考成效,延伸和拓展了反拨效应研究理论模型。 在实践层面,本研究对促进考研考生的科学备考以及提高考研英语的阅卷信度有重要的现实意义。在回归模型中,考生的写作备考时间对考研英语写作成绩的预测能力较为显著,这表明考生可以通过写作备考提高英语写作成绩。考生问卷和访谈分析显示,考生往往在“背诵输入”这一备考活动上投入大量的时间和精力。而回归模型和阅卷员访谈定性分析均表明,此类备考活动并不能像考生期望的那样有效提高考试成绩,反之,有可能会起到反作用。因此,考研英语写作任务的备考应绕开“死记硬背、机械模仿、生搬硬套”的应试怪圈。考生应参照考试大纲,准确解读考试题型和试题任务,并基于试题任务开展备考实践,规避不合理的备考活动。此外,本研究发现考生的英语作文中存在着很大一部分与题干无关、带有明显背诵痕迹的内容,而考研写作阅卷员对考生套用模版评分严厉度上的个体差异对阅卷信度构成一定的威胁。因此,网阅环境下的考研英语写作阅卷工作需要充分重视阅卷员培训,在试评阶段应组织阅卷员对评分标准、评分细则、样卷中出现的评分标准之外的文本特征进行充分讨论,准确界定给分原则并达成共识,提高阅卷信度。 在决策层面,考试反拨效应研究的根本目的在于推动教学改革(金艳2006)。本研究着重探索和分析考研英语写作题型的反拨效应及其运行机制,可以协助考试设计者和相关决策者进一步推动考研英语题型改革。对考试设计者、决策者而言,一方面应进一步提高考试的信度,使其更准确有效地测量考生的英语语言运用能力,帮助各高等学校和科研院所进行择优选拔。另一方面,应加强各个涉考群体之间的合作与沟通,探索作文命题形式的改革,为教学和备考提供可借鉴、可操作的范本,引领考生跳出“生搬硬套”的泥潭。考试设计者、决策者需正视考生高强度、突击性的备考实践,公布改革理念和期望的反拨效应,加强各个涉考群体之间的相互理解和沟通,发挥考研英语写作题型的正面反拨效应。
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：H310.42

【参考文献】

中国期刊全文数据库 前10条

1 亓鲁霞;;语言测试的反拨效应理论与实证研究[J];外语教学理论与实践;2011年04期

2 陈晓扣;;论语言测试的反拨作用[J];解放军外国语学院学报;2007年03期

3 黄大勇,杨炳钧;语言测试反拨效应研究概述[J];外语教学与研究;2002年04期

4 亓鲁霞;NMET的反拨作用[J];外语教学与研究;2004年05期

5 金艳!200030;大学英语四、六级考试口语考试对教学的反拨作用[J];外语界;2000年04期

6 李绍山;语言测试的反拨作用与语言测试设计[J];外语界;2005年01期

7 金艳;;提高考试效度,改进考试后效——大学英语四、六级考试后效研究[J];外语界;2006年06期

8 唐雄英;语言测试的后效研究[J];外语与外语教学;2005年07期

9 亓鲁霞;;论考试后效[J];外语与外语教学;2006年08期

10 辜向东;彭莹莹;;大学英语教师对CET及其反拨效应认识的历时研究[J];外语与外语教学;2010年06期

中国博士学位论文全文数据库 前2条

1 余桂红;我国研究生招考方式改革研究[D];华中科技大学;2009年

2 孟洁;中国研究生招生制度变革研究[D];华东师范大学;2010年

本文编号：1283218