集体学习式与独立练习式评分员培训的有效性比较研究

发布时间：2020-04-18 20:20

【摘要】：评分员培训是语言运用测试评分过程中的必要环节。现有研究表明培训有利于减少评分员偏误,从而确保评分质量,但比较不同培训方式的研究依然较少,且少有研究比较不同培训方式下新进评分员的评分表现。本研究采用心理测量学方法,系统地检验和比较集体学习式和独立练习式两种培训方式对国才考试新进评分员的评分表现的效果。研究模拟了真实的评分员培训环节,12名教学经验丰富的高校英语教师作为新进评分员参加培训。评分员分成两个6人小组,分别参与由同一名培训员组织的集体学习式培训和独立练习式培训。中国外语测评中心提供了培训手册,包含国才中级书面沟通任务三(撰写信函)样题、分项评分量表和30份标杆卷。两种培训方式均使用相同的培训材料,包含相同的培训活动,即熟悉评分任务和评分标准、练习评分、比较评分、讨论和反馈。两种培训方式的不同之处在于,参与集体学习式培训的评分员在培训员的指导下进行集体学习和讨论,而参与独立练习式培训过的评分员独立学习培训材料,一对一地与培训员讨论学习进展。完成培训后,所有评分员继续评阅80份考生作答,得到一组分项评分数据。这80份作答事先已由一组专家评分员评阅,通过对比新进评分员的评分与专家评分,相同记1分,不同记0分,从而得到一组评分准确度数据。数据分析采用多层面Rasch测量软件Facets,其中分项评分数据基于评分员客观性模型分析,评分准确度数据基于评分员准确度模型分析。基于两个多层面Rasch模型的多项测量指标表明,所有评分员的严厉度、准确度、内部一致性和评分偏差均达到了正式评分的要求。按培训方式来看,两组评分员的评分表现没有显著差异。因此,两种培训方式具有同等效果,12名评分员完成培训后可进一步参与正式评分。研究结果强调了集体学习式和独立练习式两种培训方式的等效性,对新进评分员的评分表现也具有同等效果。本研究发现对国才考试的评分员培训项目开发和效度论证的相关研究具有一定借鉴意义。今后的研究可从认知视角比较两种培训方式对评分员的认知和评分行为的影响,以补充目前基于心理测量学方法的研究发现。
【学位授予单位】：北京外国语大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：H319

【相似文献】

相关期刊论文 前10条

1 陈秋萍;;基层信访服务满意度的现状评价及对策分析——基于RATER指标的研究[J];法制与社会;2009年36期

2 任瑞娟;高莉;;人、机评分相关性研究综述——基于25篇西方“E-rater”文献的元分析[J];内蒙古师范大学学报(教育科学版);2018年06期

3 梁馨元;王秋波;魏春波;;基于RATER模型的高校财务服务对策研究[J];沈阳建筑大学学报(社会科学版);2018年05期

4 姚yN;刘养卉;;“互联网+”时代“都市新乡民”住房公共服务研究——基于Z市的RATER指数分析[J];四川理工学院学报(社会科学版);2016年06期

5 Nadia Barakat;Pallav Shah;Scott H Faro;John P Gaughan;Devon Middleton;MJ Mulcahey;Feroze B Mohamed;;Inter-and intra-rater reliability of diffusion tensor imaging parameters in the normal pediatric spinal cord[J];World Journal of Radiology;2015年09期

6 David Morgonsk?ld;Victoria Warkander;Panayiotis Savvides;Axel Wihlborg;Mathilde Bouzereau;Hans M?ller;Paul Gerdhem;;Inter-and intra-rater reliability of vertebral fracture classifications in the Swedish fracture register[J];World Journal of Orthopedics;2019年01期

7 毛世花;陈晓丽;;E-rater和句酷的对比研究及对提高大学生英语作文水平的启示[J];高等函授学报(哲学社会科学版);2012年05期

8 Kavian Ghandehari;;Comments on Asian Stroke Criteria[J];Neural Regeneration Research;2009年11期

9 Michael Popplewell;John Reizes;Chris Zaslawski;Narelle Smith;;TCM DIAGNOSIS:CHOOSING THE CORRECT INTERRATER STATISTIC IS VITAL[J];Journal of Integrative Medicine;2014年03期

10 张根水;;档案中介服务质量评价指标体系构建研究——基于SERVQUAL和RATER理论模型视角[J];浙江档案;2015年02期

相关会议论文 前5条

1 王跃;林向进;徐三中;;Quantitative Measures of Modic Changes in Lumbar Spine Magnetic Resonance Imaging[A];浙江省医学会骨科学分会30年庆典暨2011年浙江省骨科学学术年会论文汇编[C];2011年

2 程方升;;和谐社会取向下政府服务质量:缺口与完善——基于RATER指数五纬度的分析[A];“构建和谐社会与深化行政管理体制改革”研讨会暨中国行政管理学会2007年年会论文集[C];2007年

3 Joy C.M. Lau;Cecilia W.P.Li-Tsang;;Application of tissue ultrasound palpation system (TUPS) in objective scar evaluation[A];第八届全国烧伤外科学年会论文汇编[C];2007年

4 Gao Qinghui;;Many-Facets Analysis of Overseas Students' Evaluation of Teaching[A];2013年教育技术与管理科学国际会议论文集[C];2013年

5 Cecilia W.P.Li-Tsang;Joy C.M.Lau;Sally K.Y.Liu;;Validation of an objective scar pigmentation measurement by using a spectrocolorimeter[A];第八届全国烧伤外科学年会论文汇编[C];2007年

相关硕士学位论文 前10条

1 袁雪寒;集体学习式与独立练习式评分员培训的有效性比较研究[D];北京外国语大学;2019年

2 谢丽君;语用能力测试中评卷人效应的研究[D];广东外语外贸大学;2013年

3 张洁;用多层面Rasch模型分析做事测试的分数差异[D];浙江大学;2006年

4 陈文捷;汉语语用能力测试评分员效应的实证研究[D];广东外语外贸大学;2014年

5 王占芳;高考英语写作评分员偏颇性研究[D];山西大学;2010年

6 燕翔宇;高考英语写作评分员培训效果的研究[D];山西大学;2010年

7 周曼芝;写作评分中评分员因素的多侧面Rasch模型分析[D];湖南大学;2007年

8 陶育毓;基于rater指数的车险业务服务质量研究[D];贵州财经大学;2016年

9 曹琳琳;多面Rasch模型下机辅英语听说考试人机评分差异研究[D];广东外语外贸大学;2015年

10 王利国;以RATER指数框架分析唐山地税系统纳税服务的改善[D];河北大学;2010年

，

本文编号：2632497