大规模开放在线学习学生互评效果实证研究

发布时间：2019-08-28 09:01

【摘要】：学生互评能够有效弥补教师评阅和机器评分的局限,是适用于大规模开放在线学习情境的重要评价模式。然而,现阶段对在线互评模式的准确性和有效性尚缺少基于实证的系统研究。基于此,本文通过对一门大规模开放在线课程(MOOC)的学生互评、自评和教师评分等数据的比较,得出在线互评模式的信度、效度、影响因素和学生认可度等初步结论。研究结果表明,尽管互评模式的评分者间信度并不理想,但综合考量多个评分结果的前提下,该模式能够为在线学习者提供较为一致可靠的最终得分。学生互评结果和教师评分结果的相关性系数高达0.619表明,该模式同时具有较好的聚合效度。此外,对课后问卷的统计分析表明,在线学习者对互评模式总体持积极态度,认可互评活动对反馈获得、课程投入和高阶思维培养等的有益影响。这些发现和结论对完善和改进面向大规模开放在线学习的评价模式有一定的指导意义。
【图文】：

萁淌ψ鄭吹钠兰哿抗?从四个维度对上交的地图作品进行评分，包括展示清晰度、故事可信度、制图水平(如颜色、符号的使用和布局等)和设计美观度，每个维度得分从低到高为0分到3分。互评作业的总分为四个维度得分的总合，即在0分和12分之间。课程要求每位学生至少评价三份其他同学上交的作业。这些作业由Coursera平台随机分配给不同学生评分者。同时，每位学生也需对自己上交的作业进行自评。值得注意的是，Coursera平台为了应对极值分数，选择使用学生评分结果的中值(median)而不是平均值(mean)作为最终的互评分数。图1互评作业的评价数据类别(二)数据收集本研究共收集了三类数据。第一类数据是MOOC学生针对开放性作业的互评和自评数据。该数据储存在Coursera平台后台数据库的submission_metadata部分:作业编号和最终互评分数存储在o-verall_evaluation_metadata中，单个学生评分者的评分结果储存在evaluation_metadata中，学生的自评分数存储在self_grading_metadata中。Coursera平台设置最多的评分者人数是5人。本研究中共1825份作业获得了5位评分者的评分，从而被选中进行后续的信效度分析。缺失评分数据的作业共有919份，这些作业被排除在数据分析之外。关于作业的最终互评分数，除了使用Coursera平台提供的基于中值的判定，本研究同时将各个学生评分的平均值作为最终结果。第二类数据是教师对开放性作业的评分数据。考虑到教师评分工作量，本研究从1825份作业中随机选择了5%(N=93)并请课程主讲教师进行批改。通过作业的编号，教师可以在后台数据库中访问学生提交的作业原件，并按照相同的评价量规进行评分，包括作业的总分和四项标准的得分。因此，每份作业包含以下评价数据:5位学生评分者的评分结果、基于中值的最

萁淌ψ鄭吹钠兰哿抗?从四个维度对上交的地图作品进行评分，包括展示清晰度、故事可信度、制图水平(如颜色、符号的使用和布局等)和设计美观度，每个维度得分从低到高为0分到3分。互评作业的总分为四个维度得分的总合，即在0分和12分之间。课程要求每位学生至少评价三份其他同学上交的作业。这些作业由Coursera平台随机分配给不同学生评分者。同时，每位学生也需对自己上交的作业进行自评。值得注意的是，Coursera平台为了应对极值分数，选择使用学生评分结果的中值(median)而不是平均值(mean)作为最终的互评分数。图1互评作业的评价数据类别(二)数据收集本研究共收集了三类数据。第一类数据是MOOC学生针对开放性作业的互评和自评数据。该数据储存在Coursera平台后台数据库的submission_metadata部分:作业编号和最终互评分数存储在o-verall_evaluation_metadata中，单个学生评分者的评分结果储存在evaluation_metadata中，学生的自评分数存储在self_grading_metadata中。Coursera平台设置最多的评分者人数是5人。本研究中共1825份作业获得了5位评分者的评分，从而被选中进行后续的信效度分析。缺失评分数据的作业共有919份，这些作业被排除在数据分析之外。关于作业的最终互评分数，除了使用Coursera平台提供的基于中值的判定，本研究同时将各个学生评分的平均值作为最终结果。第二类数据是教师对开放性作业的评分数据。考虑到教师评分工作量，本研究从1825份作业中随机选择了5%(N=93)并请课程主讲教师进行批改。通过作业的编号，教师可以在后台数据库中访问学生提交的作业原件，并按照相同的评价量规进行评分，包括作业的总分和四项标准的得分。因此，，每份作业包含以下评价数据:5位学生评分者的评分结果、基于中值的最
【作者单位】： 华中师范大学教育信息技术学院;宾夕法尼亚州立大学地理系;
【基金】：2016年度教育部人文社会科学青年基金项目“面向大规模在线教育的众包评测模型研究”(16YJC880054)
【分类号】：G434

【相似文献】

相关期刊论文 前9条

1 张勇;;口语评估中母语和非母语评分者的评分偏差研究[J];韶关学院学报;2009年02期

2 李中权;孙晓敏;张厚粲;张立松;;多面Rasch模型在主观题评分培训中的应用[J];中国考试(研究版);2008年01期

3 康春花;辛涛;;基于IRT的评分者效应模型及其应用展望[J];中国考试;2010年08期

4 王蕾;张文静;;PISA中国试测研究的评分者效应分析对高考网上阅卷的启示[J];统计与信息论坛;2012年06期

5 杨睿;;采用多面Rasch模型提高英语运用测试的评分质量[J];开放教育研究;2011年05期

6 朱益明;;建立书法品质量表的探讨[J];上海教育科研;1990年06期

7 姜渭清;;GRE笔试简介[J];英语知识;2003年01期

8 刘凯;;中学英语测试中的语言测试偏差[J];文理导航(中旬);2011年04期

9 ;[J];;年期

相关会议论文 前2条

1 李中权;孙晓敏;张厚粲;张立松;;多面Rasch模型在主观题评分培训中的应用[A];第十一届全国心理学学术会议论文摘要集[C];2007年

2 王博;王丽娜;刘燕伟;丁玎;刘远我;;主观评分中分数趋中现象的形成及控制[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年

相关重要报纸文章 前2条

1 常文明;“老百姓是创建工作的评分者”[N];长春日报;2005年

2 李茂 编译;美国“高考”的应试代价[N];中国教师报;2006年

相关硕士学位论文 前3条

1 洪佳敏;英语写作测试中的评分者效应：整体评分和分项评分对比研究[D];上海师范大学;2010年

2 陈晶;英语写作测试中的评分者效应[D];上海外国语大学;2012年

3 贺满足;多层面分析评估中国学生英语作文中评分者的偏颇性[D];广东外语外贸大学;2006年

本文编号：2530056