面向大规模在线课程的辍学率预测研究

发布时间：2020-07-07 06:05

【摘要】：随着互联网和教育大数据的快速发展,大规模在线课程已经越来越普及,国内外都出现了大量的慕课平台,注册人数都达到了上百万,并且平台注册人数会越来越多,但是据调查统计发现课程的完成率普遍低下,关于如何降低慕课平台学习者的辍学率成为亟待研究的问题。尽管大量的学者对该问题进行了理论和预测模型方面的分析,但是研究基础都是基于小样本数据进行研究,很少考虑大数据环境下的时效性。本文基于师大学堂慕课平台研究慕课用户的辍学率问题,在用户行为特征构建和用户辍学率预测模型构建两个方面进行一系列的研究,给出了基于大数据环境慕课用户辍学率预测的新思路,研究的主要内容主要包含下面三个方面:1)基于分布式的权重SVM预测模型基于慕课平台数据量大和实时的特性,分析师大学堂用户的行为数据特性,采用ELK架构设计了慕课平台的数据收集机制,其中Logstash和Elasticsearch都具备良好的可扩展性,随着慕课平台的扩大,数据收集管道也可以扩展,Logstash在数据收集中可以自定义组件对数据进行清洗,结合Elasticsearch和Kibana可以高效的对数据进行存储和统计等操作,根据研究现状和师大平台的用户行为特性分析用户的行为属性,进一步统计用户行为数据,得出用户行为的特征矩阵。基于分布式环境和SVM分类器,设计分布式SVM,并且在此基础之上加入特殊的权重矩阵,对模型的数据进行优化,提高不平衡数据的可识别度,进一步提升模型的准确度和训练效率,其中的核心算法在本文中简称PW-SVM。2)用户特征权重模型和PW-SVM实现由于试验数据具有一定的不均衡特性,为了提高模型的训练效率和准确率,充分分离样本点,使用层次分析法对构建用户特征权重矩阵,再进一步将矩阵加入到分布式SVM模型中。支持向量机(SVM)在训练线性不可分和高纬度等小样本数据时具备良好的效果,在应用到大数据环境下,传统的SVM的计算效率会极大的下降,针对该问题,已有大量文献提出了分布式SVM算法,包括Spark框架中内置了 SVM算法,但是该算法是基于线性分类器设计的,对非线性样本数据训练会存在一定的缺陷,在此基础之上,本文基于分布式P-pack SVM算法和用户权重模型,实现了基于Spark的非线性SVM算法PW-SVM,理论上算法的效率会随着节点的增加而提高。3)实验分析本文最后对模型进行实验分析,实验分析分为两个部分,分别用小样本数据和大样本数据对LibSVM、MllibSVM和PW-SVM做对比实验,在试验之前,先进行试验分析PW-SVM算法的最佳参数。第一组实验结果表明PW-SVM在小样本训练时耗时较长,但是仍然具备一定的准确度,说明了模型的可用性;第二组实验利用数十万的大样本进行对比实验,发现PW-SVM在训练时间上比LibSVM的效率高,并且比MlibSVM中线性的训练方式准确度好,说明在大数据环境下,PW-SVM拥有更好的效果。进一步基于师大学堂的课程行为数据,利用PW-SVM进行训练,由于该数据集具备不均衡的特点,最后发现在添加权重矩阵之后,模型训练收敛的速度回更快,准确率也有相应的提升,说明不均衡数据在经过权重矩阵计算之后,再利用SVM训练会有更好的效果,进一步说明该方法在慕课用户辍学率预测上面有一定的借鉴意义,可以为相关的教学决策作数据支撑。
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：G434
【图文】：

分类问题,基本的,文档,索引

逦Ｈａｄｏｏｐ邋ＨＤＦＳ逦Ａｍａｚｏｎ邋Ｓ３逡逑图２－１－２邋Ｅｌａｓｔｉｃｓｅａｒｃｈ技术架构图逡逑其中重点说明下功能层中的索引模块（ＩｎｄｅｘＭｏｄｅｌ），这个是ＥＳ中比较重要的逡逑模块，ＥＳ在建立索引的时候采用倒排索引（Ｉｎｖｅｒｔｅｄｉｎｄｅｘ）邋［１９］的机制，这和传统的逡逑数据库是完全不一样的，所以ＥＳ在检索的效率上比传统的数据库高很多，ＥＳ的索逡逑引结构如下图所示，其中包含段、文档、域和项，他们之间相互包含。逡逑段一Ｉ逦文档一Ｉ逦域一Ｉ逦项逡逑——？逦——？邋逦？逡逑段逦文档域逦项逡逑索引逦段逦文档逦域逡逑图２－１－３邋ＥＳ索引关系逡逑２．１．３邋Ｋｉｂａｎａ逡逑Ｋｉｂａｎａｆ＾是一个开源的分析和可视化平台，可以与ＥＳ高度集成，可以使用逡逑９逡逑

线性不可分,拉格朗日函数,核函数,式子

心学位论文逡逑ＭＡＳＴＥＲ＇Ｓ邋ＴＨＥＳＩＳ逡逑机在这种非线性的分类中拥有巨大的优势，在解决非线性的分类映射函数，该函数可以对低维度数据进行映射，将非线性转化为在这样的函数，一定能够构造出映射函数，将低炜度线性不可分可分，这个函数称为核函数。逡逑

基本组件,程序,算子,操作类别

／＾？＼耻学位论文逡逑ＭＡＳＴＥＲ＇Ｓ邋ＴＨＥＳＩＳ逡逑不仅可以批量创建ＲＤＤ，还可以对任意内存位置进行读写，可以实现高效的容错，逡逑对于计算失效的部分，不需要回滚操作，只需要重新计算丢失部分的ＲＤＤ分区即逡逑可。ＢｌｏｃｋＭａｎａｇｅｒ用数据块来抽象大量的数据，存储在内存或者磁盘，在计算中如逡逑果数据不在本节点，就复制其他节点的数据进行计算。在物理上存储上，ＲＤＤ是一逡逑种元数据结构，保存数据的元数据信息，类似于Ｈａｄｏｏｐ中存在ｎａｍｅｎｏｄｅ上的数逡逑据，存储形式如图３所示。ＲＤＤ的创建方式可以从Ｈａｄｏｏｐ文件系统或者其他的持逡逑久化存储系统，如ｈｉｖｅ、ｃａｓｓａｎｄｒａ、Ｈｂａｓｅ等输入创建也是一种常用的方式，对ＲＤＤ逡逑的操作类别主要包括两个算子：Ｔｒａｎｓｆｏｒｍａｔｉｏｎ算子（变换）与Ａｃｔｉｏｎ算子（行动），逡逑Ｓｐａｒｋ为了降低系统内存的使用频率，使用迟延的执行方式，当只有操作累计到逡逑Ａｃｔｉｏｎ算子时，Ｔｒａｎｓｆｏｒｍａｔｉｏｎ算子才会把一个ＲＤＤ转换为另外一个ＲＤＤ；邋Ａｃｔｉｏｎ逡逑算子会正真触发整个操作序列的执行，中间的结果不会重新分配内存，而是在同一逡逑个数据块上进行流水线操作。逡逑ＲＤＤ１

【相似文献】