数据挖掘应用于在线听力简答题自动评分的研究

发布时间：2017-10-31 23:10

  本文关键词：数据挖掘应用于在线听力简答题自动评分的研究

  更多相关文章： 数据挖掘 简答题 聚类分析 Weka软件 决策树

【摘要】：近年来教学形式的多样化,比如MOOC(Massive Open Online Course)、SPOC(Small Private Online Course)、混合学习以及翻转课堂的流行,不仅使学生可以在课外进行在线学习,还能在线作业和在线测试。尽管计算机网络技术能够自动处理大量的学习数据,但大多数主观性习题还必须人工判定,这势必成为教师的巨大负担,同时也给在线学习的形式带来局限。能否借用数据挖掘技术建立机器评分的模型并对主观习题的完成质量进行自动判分是本研究的探索课题。本文提出将数据挖掘技术引入到英语在线听力简答题自动评分,探讨数据挖掘技术用于主观题自动评分的可行性。本文数据来源于国内一所985高校的基于校本翻转课堂教学模式改革课程“高级英语读写”中的在线听力简答题,随机抽取了一个单元的三道简答题,每道简答题的总样本为650,样本抽取量为200,三道题总计共600个样本。为了取得机器评分和人工评分的匹配度,特设计了专家评分表,由专家根据参考答案对学生答案进行等级评分,并对每道题的关键词和在评分时的主要标准给出了自己的意见。将等级评分赋值后输入机器学习软件Weka进行聚类分析,找到每个类中的答案类型,再对关键词进行权重赋值,用Weka运行之后由决策树展示结果,从而能够建立简答题机器评分的模型。最后用建立的模型对学生答案进行评分,并与专家评分进行比较,以此论证数据挖掘技术运用于主观题评分的可行性。研究结果表明:专家评分内信度和专家评分间信度都比较高,专家评分结果是可信的。聚类分析能够有效聚类学生答案,并能够根据研究需要设置聚类数。决策树能够在人工评分的帮助下构建评分规则,也就是能够实现对在线听力简答题的自动评分,其评分结果和专家评分结果相比,对专家评分为高水平答案的准确率把握最高,中等水平次之,低等水平最低。造成该结果的原因是高水平答案包含了决策树构建的评分规则中的顶级节点(即具有最大权重的关键词)且表述完整,符合评分规则中的高分段终端节点评分过程;而中、低等水平答案则有缺失,因而机改结果与专家评分结果匹配度不高。但二者对三种水平答案的评分趋势是一致的。以上研究结果一定程度上填补了自动评分在英语主观题研究方面的空缺,为以后该领域的研究提供了重要参考。
【关键词】：数据挖掘 简答题 聚类分析 Weka软件 决策树
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：H319.3;G434
【目录】：

• 摘要5-6
• ABSTRACT6-10
• Chapter One Introduction10-14
• 1.1 Research Background10-11
• 1.2 Research Objectives11-12
• 1.3 Research Significance12-14
• Chapter Two Literature Review14-28
• 2.1 Automatic Scoring14-16
• 2.2 Listening Comprehension of SAQs16-20
• 2.2.1 Brief Introduction of Listening Comprehension16-18
• 2.2.2 SAQs18-20
• 2.3 Data Mining20-26
• 2.3.1 Functions of Data Mining20-22
• 2.3.2 Clustering Analysis22-24
• 2.3.3 Decision Tree24-26
• 2.4 Weka26-28
• Chapter Three Methods28-42
• 3.1 Research Questions28
• 3.2 Data Preprocessing28-36
• 3.2.1 Data Collection and Data Extraction28-31
• 3.2.2 Data Cleaning31-33
• 3.2.3 Data Integration and Data Transformation33-36
• 3.3 Data Process of Expert Scoring36-38
• 3.3.1 Expert Scoring on Students’ Short Answers37
• 3.3.2 Keywords37-38
• 3.3.3 Evaluation Standards38
• 3.4 Mining Data with Weka38-41
• 3.4.1 Clustering Analysis of Students’Answers38-39
• 3.4.2 Decision Tree of the Scoring Rules39-41
• 3.5 Comparison between Expert Scoring and Automatic Scoring41-42
• Chapter Four Results and Discussion42-57
• 4.1 Results of Data Transformation42-44
• 4.2 Results of Expert Scoring44-46
• 4.3 Results from Data Mining46-53
• 4.3.1 Results of Clustering Analysis46-49
• 4.3.2 Results of RandomTree49-51
• 4.3.3 Results of Comparison between the Two types of Scoring51-53
• 4.4 Discussion53-57
• Chapter Five Conclusions57-59
• 5.1 Major Findings of the Study57-58
• 5.2 Limitations58-59
• Acknowledgements59-60
• References60-64
• Appendix64-82
• Results Obtained During the Study for Master Degree82-83

【相似文献】

中国期刊全文数据库 前7条

1 田艳;;网上英译汉自动评分实践探索[J];中国翻译;2011年02期

2 田霖;赵晓茫;;计算机自动评分在自学考试外语测验中的应用研究[J];中国考试;2011年12期

3 李恩亮;;高职高专英语作文自动评分指标探索[J];中国成人教育;2014年11期

4 王茜;;基于BLEU的英语翻译自动评分研究[J];安徽电子信息职业技术学院学报;2010年04期

5 田霖;王桥影;赵晓茫;;CAS在自学考试翻译测验评分中的应用研究[J];教育与考试;2012年01期

6 严可;胡国平;魏思;戴礼荣;李萌涛;杨晓果;冯国栋;;面向大规模英语口语机考的复述题自动评分技术[J];清华大学学报(自然科学版);2009年S1期

7 ;[J];;年期

中国重要会议论文全文数据库 前5条

1 杨晨;曹亦薇;;论文自动评分——作文评价的一场革命[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年

2 彭星源;柯登峰;赵知;陈振标;徐波;;基于词汇评分的汉语作文自动评分[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

3 戴腊梅;曹亦薇;;关于LSA对主观题自动评分的效度评价[A];全国教育与心理统计与测量学术年会暨第八届海峡两岸心理与教育测验学术研讨会论文摘要集[C];2008年

4 蔡黎;彭星源;柯登峰;赵军;;少数民族汉语考试作文自动评分的特征提取研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年

5 柯登峰;彭星源;赵知;陈振标;王士进;徐波;;基于词汇等级的汉语作文自动评分技术[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

中国重要报纸全文数据库 前2条

1 孙召华　王光勇 本报特约通讯员 颜贵斌;科技元素越多,现代军营越靓[N];解放军报;2011年

2 特约记者 颜贵斌;现代警营该是什么样[N];人民武警报;2011年

中国硕士学位论文全文数据库 前10条

1 刘明杨;高考作文自动评分关键技术研究[D];哈尔滨工业大学;2015年

2 梅红伟;基于VBA的Word文档操作自动评分算法研究[D];云南大学;2015年

3 苗靖洁;大学英语分级测试简答题计算机自动评分的误差分析[D];湖南大学;2009年

4 陈一乐;基于回归分析的中文作文自动评分技术研究[D];哈尔滨工业大学;2016年

5 陈立蜜;数据挖掘应用于在线听力简答题自动评分的研究[D];电子科技大学;2016年

6 宣华锋;Visual Basic程序设计题自动评分算法的研究及实践[D];浙江工业大学;2012年

7 仲红艳;数控技能考核中仿真操作考试自动评分方法研究与实现[D];上海师范大学;2007年

8 李亚男;汉语作为第二语言测试的作文自动评分研究[D];北京语言大学;2006年

9 熊永燕;基于作文自动评分理论的小学写作教学研究[D];华东师范大学;2015年

10 赫伽宁;结合动态测试与静态分析的编程题自动评分方法研究[D];哈尔滨工业大学;2008年

，

本文编号：1124161