基于概化理论和多层面Rasch模型的计算机化英语听说考试评分研究

发布时间：2020-11-03 03:33

　　 广东省高考计算机辅助英语听说考试评分工作采用评分人对考生录音评分。由于人工评分主观性强,会存在各种评分误差,因此有必要对如何客观、公正地评分进行深入研究。本研究采用概化理论和多层面Rasch模型,对某次模拟考试的评分数据进行深入分析。评分数据包括三位大学教师和两位中学教师对广州市某中学117位考生录音所评的分数。概化理论研究结果表明:任务难度是测试总变异的主要来源(46.8%);在当前高考评分工作采用评分人侧面既嵌套于任务侧面又嵌套于考生的R:(p×T)设计的双评条件下,概化系数为0.647。多层面Rasch模型分析结果表明:尽管评分人严厉度差异显著,但内在一致性很强;在偏差模式上,大学教师对任务一偏严、对任务三偏松,而中学教师则相反。上述结果既为完善考试评分设计提供了重要的实证依据,也充分表明概化理论和多层面Rasch模型在研究视角上的互补性。
【文章目录】：
一、引言
二、文献综述
三、研究设计
    （一）研究背景
    （二）研究问题
    （三）评分人
    （四）考生
    （五）数据搜集
    （六）数据分析
四、结果和讨论
    （一）概化理论的分析结果
        1. 对模拟考试整体的概化研究结果
        2. 对模拟考试三个任务的概化研究结果
    （二）多层面 Rasch 模型的分析结果
        1. 评分人层面的研究结果
        2. 考生层面的研究结果
        3. 任务层面的研究结果
        4. 评分人来源层面的研究结果
        5. 偏差分析结果
五、结语

【参考文献】

相关期刊论文 前6条

1 徐鹰;曾用强;;评分人培训的研究现状及展望[J];中国考试;2014年02期

2 王保云;;外语口试的形式评析——面试、录音口试和机助测试[J];外语电化教学;2006年01期

3 曾用强;;计算机化考试的设计模型[J];外语电化教学;2012年01期

4 李航;;基于概化理论和多层面Rasch模型的CET-6作文评分信度研究[J];外语与外语教学;2011年05期

5 孙海洋;;概化理论和多层面Rasch模型在建立“职前中学英语教师口语考试模型”中的应用[J];外语与外语教学;2011年05期

6 徐思;张敏强;黎光明;;基于GT和多面Rasch模型的结构化面试分析[J];心理学探新;2009年05期

【共引文献】

相关期刊论文 前10条

1 汪金晖;张淑梅;辛涛;;缺失数据下等级反应模型参数MCMC估计[J];北京师范大学学报(自然科学版);2011年03期

2 毛秀珍;辛涛;;认知诊断CAT中选题策略的改进[J];北京师范大学学报(自然科学版);2011年03期

3 涂冬波,蔡艳;信息函数在标准参照测验中的应用研究[J];江西师范大学学报(自然科学版);2005年02期

4 王祖俭;黄国兵;丁树良;;基于遗传算法的项目反应理论3PLM参数估计[J];江西师范大学学报(自然科学版);2005年06期

5 刘发明;丁树良;;多维自适应测验初探[J];江西师范大学学报(自然科学版);2006年05期

6 周婕;丁树良;陈平;;多级评分CAT的认知诊断方法[J];江西师范大学学报(自然科学版);2007年04期

7 吴锐;丁树良;甘登文;;一种新的项目反应理论等值准则——余弦准则[J];江西师范大学学报(自然科学版);2008年02期

8 李佳;丁树良;汪文义;吴锐;;基于IRT模型的智能组卷策略[J];江西师范大学学报(自然科学版);2009年04期

9 蔡艳;丁树良;涂冬波;蔡尔清;;广义阶层线性模型下铆题存在DIF时的测验等值研究[J];江西师范大学学报(自然科学版);2009年06期

10 程小扬;丁树良;;子题库题量不平衡的按a分层选题策略[J];江西师范大学学报(自然科学版);2011年01期

相关博士学位论文 前10条

1 彭康洲;基于测试使用论证的听力理解任务效度研究[D];上海外国语大学;2010年

2 张俊英;大学英语多维互动教学模式行动研究[D];上海外国语大学;2010年

3 蔡艳;群体水平的英语阅读问题解决能力评估及认知诊断[D];江西师范大学;2010年

4 陆艳平;青少年生殖健康的综合评价及干预研究[D];华中科技大学;2011年

5 俞丽华;偏头痛基于患者报告的结局评价量表研制及性能初步考评[D];北京中医药大学;2011年

6 林楚华;结构方程模型结合项目反应理论实现功能性胃肠病中医辨证量表研究[D];广州中医药大学;2011年

7 赵顶位;中小学生几何类比推理能力诊断评价中的理论与技术研究[D];江西师范大学;2011年

8 蔡圣刚;人格测量中的概率展开理论及其研究方法[D];华南师范大学;2005年

9 鹿士义;汉语水平考试（HSK）的DIF研究[D];南京师范大学;2004年

10 张洁;对外汉语教师的知识结构与能力结构研究[D];北京语言大学;2007年

相关硕士学位论文 前10条

1 韩蕾;基于遗传算法的自动组卷系统的研究与实现[D];中国海洋大学;2010年

2 杜宣宣;具有认知诊断功能的计算机化自适应测验的选题策略研究[D];江西师范大学;2010年

3 曾玲艳;认知诊断中分类准确率的研究[D];江西师范大学;2010年

4 罗凌云;认知诊断中项目属性自动标识策略的相关研究[D];江西师范大学;2010年

5 刘辉;小教大专英语专业校本口语测试初探[D];山东师范大学;2010年

6 刘肃平;基于J2EE的考试题库管理系统的研究和应用[D];华东师范大学;2010年

7 胡旭;涉密人员在线测试系统的设计与开发[D];华东师范大学;2010年

8 石丽媛;中学生课堂沉默现象研究[D];安徽师范大学;2010年

9 汪海彬;城市居民安全感问卷的编制及应用[D];安徽师范大学;2010年

10 李华群;基于IRT计算机自适应测试的研究[D];南昌大学;2010年

【二级参考文献】

相关期刊论文 前10条

1 赵向民,王占礼;海船船员英语口语评估的概化研究[J];大连海事大学学报;2005年02期

2 谭智;;应用Rasch模型分析英语写作评分行为[J];外语教学理论与实践;2008年01期

3 何莲珍;李航;;语言测试的主要研究范式及其发展趋势[J];浙江大学学报(人文社会科学版)预印本;2010年10期

4 曾用强;电脑顺应性测试模式的设计[J];外语教学与研究;1992年02期

5 曾用强;个性化自适应性测试探索[J];外语教学与研究;2002年04期

6 曾用强;;对计算机化考试的几点思考[J];外语电化教学;2010年01期

7 刘建达;;做事测试信度和效度的Rasch模型分析[J];外语艺术教育研究;2007年04期

8 胡月星;刘轩;赵郝锐;;概化理论在结构化面试评分误差中的应用研究[J];西北师大学报(社会科学版);2006年04期

9 曾用强;自信心与语言测试行为[J];现代外语;2002年02期

10 朱正才,杨惠中,杨浩然;Rasch模型在CET考试分数等值中的应用[J];现代外语;2003年01期

相关博士学位论文 前2条

1 徐建平;教师胜任力模型与测评研究[D];北京师范大学;2004年

2 张洁;评分过程与评分员信念—评分员差异的内在因素研究[D];广东外语外贸大学;2009年

【相似文献】

相关期刊论文 前10条

1 杨明;;如何培养高职高专学生的英语听说技能[J];辽宁教育行政学院学报;2008年06期

2 黄佳慧;;浅议中职学生英语听说交际能力的培养[J];科教文汇(下旬刊);2009年04期

3 罗新梅;;如何提高学生的英语听说技能初探[J];读与写(教育教学刊);2009年08期

4 王艳琴;徐菁;刘春梅;;高职学生英语听说难的因素及对策探讨[J];邢台职业技术学院学报;2009年06期

5 唐友东;;高职院校“轮机英语听说”课程改革探索[J];教育与职业;2009年27期

6 李泉林;武徐霞;;商务英语听说课程开展内容依托教学改革的探讨[J];淮南职业技术学院学报;2010年02期

7 李太珠;;商务英语听说语篇的人际功能分析[J];襄樊职业技术学院学报;2010年05期

8 武德力;武徐霞;;商务英语听说课程工学结合途径探讨[J];淮南职业技术学院学报;2011年01期

9 张戈;;试析基于市场需求的商务英语听说课程改革的实践路径[J];新疆职业教育研究;2011年01期

10 曹敏;;高职英语听说测试改革的实践与探索[J];佳木斯教育学院学报;2011年04期

相关硕士学位论文 前9条

1 杨敏;教学设计原理在英语听说教材开发中的应用[D];上海外国语大学;2006年

2 袁浩;农村高中英语听说教育滞后性的探讨[D];湖南师范大学;2010年

3 房佳婕;体验英语听说系统评估研究[D];重庆大学;2008年

4 王金玲;初中学生英语听说学习兴趣培养研究[D];鲁东大学;2014年

5 杨伟静;课堂对子活动对学生英语听说考试影响的实证研究[D];广州大学;2013年

6 陈江喜;多媒体技术与英语听说的整合[D];上海师范大学;2009年

7 靳瑞勇;基于建构主义理论网络英语听说练习室的研究与设计[D];河北大学;2007年

8 徐越;任务型教学在小学高年级英语听说中的应用[D];内蒙古师范大学;2014年

9 王淮娟;基于新课标的英语听说施教与学习策略研究[D];南京师范大学;2011年

本文编号：2868031