云环境下支持弹性伸缩的流计算研究与实现

发布时间：2017-04-29 22:12

  本文关键词：云环境下支持弹性伸缩的流计算研究与实现，，由笔耕文化传播整理发布。

【摘要】：近年来,随着互联网的发展,数据越来越多,其新增速率也快来越快,为了应对这个问题,越来越多的流计算系统被推出。它接受数据的实时输入,然后以比较低的延迟处理数据并输出,在金融、互联网等对实时性要求比较高的领域得到了广泛的应用。虽然流计算系统能够以近乎实时的效率处理大量数据,但它却忽视了大数据的另一个重要特征——变化大,该特征包含很多方面的含义,其中本论文关注的重点是速率的变化大。速率变化大造成的后果就是流计算系统的负载时高时低,甚至会在速率超出预期太多的情况下,造成系统的崩溃。为了解决上述问题,我们想到让流计算系统具有弹性伸缩的能力。不过传统的弹性计算大都是站在云的角度来考虑问题的,在他们的假设中,运行在云上的系统都是分布式的,且都可以很容易地被扩展。在Web服务器领域,这个假设可以认为是成立的,然而大部分情况下,它并不是完全正确的,特别是在分布式系统中,机器的伸缩会涉及到很多问题。当然也有一些研究是针对具体的流计算系统的,但他们大多只会根据系统的状态而不考虑集群的状态来决定是否伸缩系统,此外,这些研究也没有涉及到完整的伸缩以及调度过程,只关注于其中的一部分,如伸缩算法,可伸缩框架等。针对这些问题,本文提出了一个基于云的可弹性伸缩的流计算解决方案,并基于Storm实现了一个弹性流计算系统RubberStream。它通过对系统的实时监控,能够迅速发现各组件的负载异常,并及时对它们的并行度进行适当调整,同时它还能够结合集群中的服务器状态,自动对集群的规模进行伸缩。在伸缩时,RubberStream可以根据云服务提供商的价格自动选择水平伸缩或垂直伸缩。此外,RubberStream还支持不同配置机器间的负载均衡调度,以解决垂直伸缩带来的机器异构性问题。在文章的最后,本论文在真实的商用云平台阿里云上对RubberStream的功能以及性能进行了验证。实验结果表明,RubberStream不仅能够在适当时候正确地调整组件的并行度以及集群规模,而且能够在有效地减少资源消耗的前提下,提供与静态大规模Storm集群相当的性能,从而有效解决了速率波动带来的问题。
【关键词】：流计算 弹性 自适应 云计算
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.09
【目录】：

• 摘要3-5
• ABSTRACT5-12
• 第一章 绪论12-18
• 1.1 研究背景与意义12-13
• 1.2 国内外研究现状13-15
• 1.3 研究目标15
• 1.4 主要内容15-16
• 1.5 论文组织结构16
• 1.6 本章小结16-18
• 第二章 相关技术研究18-28
• 2.1 大数据处理方案18-19
• 2.2 流计算19-24
• 2.2.1 数据流模型20-21
• 2.2.2 流处理系统21-24
• 2.3 云计算24-26
• 2.4 本章小结26-28
• 第三章 问题分析与定义28-34
• 3.1 大数据的新特征28-30
• 3.2 弹性计算比较30-31
• 3.3 存在的问题分析31
• 3.4 本章小结31-34
• 第四章 Rubber Stream架构设计34-40
• 4.1 系统架构34-36
• 4.2 系统设计36-38
• 4.3 Rubber Stream工作流程38-39
• 4.4 本章小结39-40
• 第五章 Rubber Stream设计与实现40-54
• 5.1 负载监控40-42
• 5.2 伸缩管理42-47
• 5.2.1 基础伸缩42-44
• 5.2.2 进阶伸缩44-47
• 5.3 任务调度47-52
• 5.4 本章小结52-54
• 第六章 实验验证54-68
• 6.1 实验描述54-56
• 6.1.1 实验设计54
• 6.1.2 数据准备54-55
• 6.1.3 实验实现55-56
• 6.2 实验环境56-59
• 6.2.1 环境介绍56
• 6.2.2 环境设置56-59
• 6.3 实验过程59-67
• 6.3.1 功能测试59-62
• 6.3.2 性能测试62-67
• 6.4 本章小结67-68
• 第七章 总结与展望68-70
• 7.1 全文总结68-69
• 7.2 工作展望69-70
• 参考文献70-74
• 致谢74-76
• 攻读学位期间发表的学术论文目录76-79
• 附件79

【相似文献】

中国期刊全文数据库 前10条

1 贾宏波,吴海明,杨庆华,吴峻岭;企业级工程计算系统的建立与应用[J];计算机辅助设计与制造;2001年10期

2 王振东;王慧强;冯光升;吕宏武;陈晓明;;自律计算系统及其关键技术研究[J];计算机科学;2013年07期

3 Robert J.Douglass ,漆平生;新一代计算系统的应用前景[J];系统工程与电子技术;1984年04期

4 姚敏，田贤忠;广义计算系统研究[J];计算机工程与应用;1999年01期

5 桂小林;钱德沛;;元计算系统的研究现状与趋势[J];计算机科学;2001年12期

6 孟丽艳,姚力,裴留庆;试论计算系统的能力与性能[J];系统工程与电子技术;2002年08期

7 谢立;;走向日用化的分布式计算系统[J];计算机工程与应用;1990年Z1期

8 陈丹;;首个毫米级计算系统问世[J];成才之路;2011年10期

9 桂小林,钱德沛,董渭清,董小社;校园级元计算系统的一种多级对象命名方法研究[J];西安交通大学学报;2001年12期

10 何凯,杨愚鲁;全球计算系统及其关键技术的研究[J];计算机工程与应用;2005年17期

中国重要会议论文全文数据库 前8条

1 孟丽艳;姚力;裴留庆;;自然产生的计算系统的启示[A];中国电子学会第七届学术年会论文集[C];2001年

2 蔺增春;;省外新建矿井工资计算系统开发与应用[A];山东煤炭学会工业信息化专业委员会2011年度工作会议暨物联网技术推进煤矿信息化学术论坛学术论文集[C];2011年

3 冯华;卢凯;刘勇鹏;;高性能计算系统中的服务质量研究[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年

4 游md毅;黄其泮;徐玟瑜;李坤聪;;研制多重FPGA可动态重组计算系统的线上软件模块配置法[A];2005年海峡两岸三地无线科技学术会论文集[C];2005年

5 卢宇彤;杨学军;;面向分布对象存储结构的高性能计算系统资源管理方法[A];第15届全国信息存储技术学术会议论文集[C];2008年

6 张靖;李春文;吴热冰;;基于Markov模型的多比特量子计算系统相干控制建模[A];第二十三届中国控制会议论文集（上册）[C];2004年

7 邹俊;;调质钢工艺数值模拟计算系统的开发及应用[A];第七届(2009)中国钢铁年会大会论文集(中)[C];2009年

8 刘绍璋;冯明琴;;重力坝基础应力分析微机计算系统[A];第七届全国结构工程学术会议论文集（第Ⅰ卷）[C];1998年

中国重要报纸全文数据库 前10条

1 ;业界首款统一计算系统面世 全面释放虚拟化的强大力量[N];人民邮电;2009年

2 朱慧;三部有了高性能计算系统[N];中国航天报;2006年

3 ;知名高校谈HPC构建经验[N];网络世界;2010年

4 杨广文;元计算技术研究[N];计算机世界;2001年

5 荆晶;最小计算机在美问世[N];经济参考报;2011年

6 本报通讯员 王典丽;全面释放虚拟化强大力量[N];人民铁道;2009年

7 ;企业云计算如何保障安全[N];人民邮电;2012年

8 《网络世界》记者 周源;四点着力 奔赴下一代x86计算系统[N];网络世界;2012年

9 清华大学计算机系 都志辉 黄震春;千里之行始于足下[N];计算机世界;2001年

10 李大庆;首套分布式GPU超级计算系统启用[N];中国技术市场报;2010年

中国博士学位论文全文数据库 前4条

1 车建华;虚拟计算系统性能与可用性评测方法研究[D];浙江大学;2010年

2 王峰;部分重构计算系统的关键技术研究[D];中国科学技术大学;2007年

3 叶建伟;云计算系统中作业安全技术研究[D];哈尔滨工业大学;2011年

4 廖备水;基于PDC-Agent的面向服务的自治计算研究[D];浙江大学;2006年

中国硕士学位论文全文数据库 前10条

1 边爽;云计算系统资源弹性调度的评测方法研究[D];哈尔滨工业大学;2015年

2 朱汉峰;云环境下支持弹性伸缩的流计算研究与实现[D];上海交通大学;2015年

3 葛宝磊;自治计算系统研究[D];大连理工大学;2009年

4 韩佳龙媚;专用计算系统用户界面的设计与实现[D];华南理工大学;2014年

5 于丽媛;概念粒计算系统之间的关系与性质[D];烟台大学;2013年

6 梁慰庭;两类解决基于光网络的分布式计算系统的项目调度问题的混合遗传算法[D];上海交通大学;2011年

7 董长娥;实用的公路规范查询与公式计算系统的设计与实现[D];中国海洋大学;2005年

8 张绪炎;600MW火电机组在线性能计算系统的开发[D];上海发电设备成套设计研究所;2006年

9 李承浩;风险评估计算系统的研究与设计[D];华东师范大学;2009年

10 唐金成;基于Smart Client高速铁路接触网计算系统的研究[D];西南交通大学;2006年

  本文关键词：云环境下支持弹性伸缩的流计算研究与实现，由笔耕文化传播整理发布。

本文编号：335699