基于Hadoop的并行SVM算法研究及在Mooc平台中的应用

发布时间：2017-09-25 06:05

  本文关键词：基于Hadoop的并行SVM算法研究及在Mooc平台中的应用

  更多相关文章： 支持向量机 Hadoop 慕课 二进制粒子群 遗传算法

【摘要】：在教育全球化的进程中,慕课诞生了。慕课平台因其学习者众多、免费、开放等诸多特性,正在教育领域掀起一场变革。然而由于诸多因素,最终能通过慕课考试,获取证书的人数在整体学习者中占比很小,为了促进慕课平台的发展,提高学习者证书获取率是当务之急。因此在海量教育大数据中,对学习者进行分类,过程性地监控学习者能否获取证书,而后对他们提供定制服务是有效提高慕课证书获取率的有效方法。在分类算法中,支持向量机因其较少过度拟合、特征向量维数灾难不明显等优势被广泛应用。传统的SVM算法因时间复杂度高,训练时间长等因素,并不适合处理大规模数据集。为了解决这些不足之处,将SVM算法并行化来处理大规模数据集,是一种有效的解决方法。论文的主要内容包括:(1)简单描述了本文研究的相关背景与实际意义,查阅国内外研究相关的文献,并对其进行分析与总结,为本文提出改进的基于Hadoop的并行SVM算法提供重要的科学参考与理论支持。(2)对支持向量机相关理论进行系统介绍,包括支持向量机的定义及其数学模型,然后介绍了SVM在二分类情况下的典型应用,最后利用二进制粒子群算法和遗传算法,对SVM的核函数参数和惩罚因子进行寻优,提高分类准确率。(3)在层叠支持向量机的理论基础之上,对基于Hadoop的并行SVM算法进行了设计与实现,并针对其存在的不足之处,提出了两点改进建议,并将其应用于处理大规模数据集,大幅度地提高了SVM的训练速度。(4)总结本文所做工作和科研中存在的不足之处,并对未来并行支持向量机的发展方向进行展望。
【关键词】：支持向量机 Hadoop 慕课 二进制粒子群 遗传算法
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：G434;TP18
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 绪论9-13
• 1.1 研究背景和意义9-10
• 1.2 国内外研究现状10-11
• 1.3 本文研究内容11-12
• 1.4 本文组织结构12-13
• 第二章 相关理论及技术原理13-20
• 2.1 MOOC相关介绍13
• 2.2 分类算法的评价标准13-14
• 2.3 Hadoop分布式平台14-19
• 2.3.1 Hadoop概述14
• 2.3.2 HDFS分布式文件系统14-18
• 2.3.3 MapReduce分布式计算框架18-19
• 2.4 本章小节19-20
• 第三章 SVM相关理论研究20-31
• 3.1 统计学习理论20-22
• 3.1.1 经验风险最小化原则20-21
• 3.1.2 VC维21
• 3.1.3 结构风险最小化原则21-22
• 3.2 支持向量机（SVM）原理22-28
• 3.2.1 线性可分情况23-26
• 3.2.2 线性不可分情况26-28
• 3.3 SVM待优化参数与交叉验证28-30
• 3.3.1 待优化参数28-29
• 3.3.2 交叉验证29-30
• 3.4 本章小节30-31
• 第四章 两种支持向量机参数寻优的比较31-44
• 4.1 粒子群优化算法及其改进31-33
• 4.1.1 标准粒子群算法31-33
• 4.1.2 改进的二进制粒子群33
• 4.2 遗传算法33-36
• 4.3 针对MOOC平台样本不均衡的SVM优化36-37
• 4.4 实验设计及分析37-43
• 4.4.1 实验数据集&实验环境37-38
• 4.4.2 GA与二进制PSO的SVM参数寻优实验设计38-40
• 4.4.3 实验结果与分析40-43
• 4.5 本章小节43-44
• 第五章 基于Hadoop的并行支持向量机44-60
• 5.1 层叠支持向量机44-49
• 5.1.1 层叠支持向量机的基础理论44-47
• 5.1.2 层叠支持向量机的收敛证明47-49
• 5.2 层叠支持向量机的改进49-51
• 5.2.1 层叠向量机算法的两点改进49-50
• 5.2.2 训练样本集划分改进50-51
• 5.3 基于Hadoop的并行SVM算法实现51-53
• 5.4 实验设计及分析53-59
• 5.4.1 实验数据集&实验环境54-56
• 5.4.2 并行SVM分类实验设计与分析56-59
• 5.5 本章小节59-60
• 第六章 总结与展望60-61
• 6.1 全文总结60
• 6.2 工作展望60-61
• 致谢61-62
• 参考文献62-65
• 附录65-66
• 详细摘要66-68

【相似文献】

中国期刊全文数据库 前10条

1 王云英;阎满富;;C-支持向量机及其改进[J];唐山师范学院学报;2012年05期

2 谢飞;;支持向量机及其应用研究[J];安徽教育学院学报;2007年03期

3 方辉;艾青;;支持向量机训练及分类算法研究[J];大庆师范学院学报;2009年03期

4 胡运红;;支持向量机的研究与应用[J];运城学院学报;2012年02期

5 吴疆;董婷;;基于支持向量机算法的癌症预测[J];榆林学院学报;2007年04期

6 燕孝飞;王艳秋;;支持向量机及其在羽绒识别中的应用研究[J];枣庄学院学报;2007年05期

7 王达;张坤;;基于支持向量机和转换的错误驱动学习方法的组块识别[J];南阳师范学院学报;2009年06期

8 胡运红;段惠琴;;多分类支持向量机的算法研究[J];运城学院学报;2010年02期

9 周宓;;基于支持向量机的信用卡信誉检测[J];新乡学院学报(自然科学版);2012年06期

10 余萍;;基于边界调节的支持向量机模型[J];新课程(教育学术版);2008年02期

中国重要会议论文全文数据库 前10条

1 余乐安;姚潇;;基于中心化支持向量机的信用风险评估模型[A];第六届（2011）中国管理学年会——商务智能分会场论文集[C];2011年

2 刘希玉;徐志敏;段会川;;基于支持向量机的创新分类器[A];山东省计算机学会2005年信息技术与信息化研讨会论文集（一）[C];2005年

3 史晓涛;刘建丽;骆玉荣;;一种抗噪音的支持向量机学习方法[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

4 何琴淑;刘信恩;肖世富;;基于支持向量机的系统辨识方法研究及应用[A];中国力学大会——2013论文摘要集[C];2013年

5 刘骏;;基于支持向量机方法的衢州降雪模型[A];第五届长三角气象科技论坛论文集[C];2008年

6 王婷;胡秀珍;;基于组合向量的支持向量机方法预测膜蛋白类型[A];第十一次中国生物物理学术大会暨第九届全国会员代表大会摘要集[C];2009年

7 赵晶;高隽;张旭东;谢昭;;支持向量机综述[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

8 周星宇;王思元;;智能数学与支持向量机[A];2005年中国智能自动化会议论文集[C];2005年

9 颜根廷;马广富;朱良宽;宋斌;;一种鲁棒支持向量机算法[A];2006中国控制与决策学术年会论文集[C];2006年

10 侯澍e，

本文编号：915765