增量式迭代计算模型研究与实现

发布时间：2017-07-06 07:10

  本文关键词：增量式迭代计算模型研究与实现

  更多相关文章： 云计算 大数据 MapReduce 迭代计算 增量迭代

【摘要】：不动点迭代广泛存在于数据挖掘和机器学习算法中,这些算法已应用到诸如社会网络分析、高性能计算、推荐系统、搜索引擎、模式识别等诸多领域中.在云计算环境中,利用MapReduce编程模型所带来的便利,通过普通的PC集群运行相应的迭代算法,可以提高迭代算法的执行效率.但由于数据的快速变化,每当数据发生改变,整个迭代算法也需要重新运行,这将会导致大量的运算资源浪费和性能损失.文中研究基于原始迭代结果和新增数据的增量迭代计算DELTA(Delta data based incrEmentaL iTerAtive computing),并提出DELTA模型以解决上述问题.文中理论证明了DELTA模型的正确性,阐述了其适用范围,并列举了PageRank、K-means和Descendant Query算法在DELTA模型中的运用.文中还扩展HaLoop为ΔHaLoop框架,使其支持增量式的迭代计算.通过一系列的测试用例,对DELTA模型功能、性能进行了分析和讨论,实验结果表明DELTA模型在获得准确的迭代结果的基础上性能优势明显.文中提出的DELTA模型能够适应多数迭代算法,对云计算环境下的迭代计算的应用和优化起到推动作用.
【作者单位】： 东北大学软件学院;东北大学计算中心;东北大学信息科学与工程学院;
【关键词】： 云计算 大数据 MapReduce 迭代计算 增量迭代
【基金】：国家自然科学基金(61433008,61202088,61272179,61173028) 教育部博士点基金(20130042120006);教育部-中国移动科研基金项目(MCM20125021) 中国博士后科学基金面上基金(2013M540232) 中央高校基本科研业务费专项资金(N130417001) 辽宁省博士启动基金(201403314)资助
【分类号】：TP311.13
【正文快照】： 士点基金(20130042120006)、教育部-中国移动科研基金项目(MCM20125021)、中国博士后科学基金面上基金(2013M540232)、中央高校基本科研业务费专项资金(N130417001)和辽宁省博士启动基金(201403314)资助.宋杰,男,1980年生,博士,副教授,中国计算机学会(CCF)高级会员,主要研究方

【相似文献】

中国期刊全文数据库 前10条

1 王秀,叶东毅;基于分布约简的获取规则的增量式方法[J];福州大学学报(自然科学版);2005年01期

2 林俊伟;叶东毅;;基于邻域辨识矩阵的属性约简增量式算法[J];计算机应用;2009年S1期

3 李斌,马戈,孙志挥;项目集发生变化的关联规则增量式更新算法[J];计算机应用;2004年12期

4 刘韶涛;余金山;王宁生;;一种迭代增量式的程序构建方法[J];辽宁工程技术大学学报;2005年06期

5 王军琴;;基于三菱FX_(2N)的增量式PID控制器设计[J];现代电子技术;2010年12期

6 董学勤;刘希璐;;基于增量式PID的改进算法[J];浙江工商职业技术学院学报;2012年03期

7 黄文芝 ,倪国元;基于模糊相似系数的增量式聚类算法[J];微型机与应用;2004年10期

8 罗维;;词语对齐的快速增量式训练方法研究[J];北京大学学报(自然科学版);2013年01期

9 宋和平;胡成全;王力风;侯二娜;;新型双温度反馈增量式PID控制器的设计[J];自动化与仪表;2012年04期

10 刘宗田;属性最小约简的增量式算法[J];电子学报;1999年11期

中国重要会议论文全文数据库 前6条

1 单莘;;一种网络告警的增量式情景规则挖掘方法[A];中国通信学会第五届学术年会论文集[C];2008年

2 王鑫;袁晓洁;李楠;;Native XML数据库的增量式验证[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

3 程建军;陈晓云;马志新;;程序设计语言课程的增量式教学法改革与实践[A];2005全国计算机程序设计类课程教学研讨会论文集[C];2005年

4 陈恩红;张振亚;王煦法;;基于神经网络的增量式数据索引机制研究[A];2001年中国智能自动化会议论文集（上册）[C];2001年

5 栾江;唐常杰;黄晓冬;阴小雄;廖勇;;一种增量式支持向量机文本分类模型[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

6 董云云;王中华;冯志全;程金;;吊车-双摆系统的增量式滑模控制[A];第二十七届中国控制会议论文集[C];2008年

中国重要报纸全文数据库 前1条

1 中国社会科学院金融研究所研究员 易宪容;地方增量式金融改革亟待有序规范[N];上海证券报;2012年

中国博士学位论文全文数据库 前3条

1 朱真峰;快速增量式分类算法研究[D];复旦大学;2010年

2 王毅;注塑模改模知识的增量式发现研究[D];广东工业大学;2014年

3 陈春雷;面向GPGPU的并行增量式聚类算法研究[D];西北工业大学;2014年

中国硕士学位论文全文数据库 前10条

1 荆楠;服务网络的构建与面向增量式需求的动态定制方法[D];哈尔滨工业大学;2015年

2 倪国元;基于模糊聚类的增量式挖掘算法研究[D];华中科技大学;2004年

3 张晶;增量式关联规则挖掘算法研究及其在飞行品质监控中的应用[D];中国民航大学;2008年

4 陈楠;基于粗集理论的增量式属性约简研究[D];长春理工大学;2005年

5 张长城;基于增量式低秩学习的视频目标跟踪[D];大连理工大学;2014年

6 何志刚;多约束增量式布局[D];武汉理工大学;2011年

7 陈飞龙;基于偏序关系的快速增量式概念格构建算法[D];西安电子科技大学;2011年

8 孙岩;增量式贝叶斯网络结构学习研究[D];杭州电子科技大学;2011年

9 郝允允;增量式数据竞争检测[D];中国科学技术大学;2009年

10 赖桃桃;增量式属性约简更新算法研究[D];厦门大学;2009年

，

本文编号：525182