云计算环境下计算型任务的资源需求预测

发布时间：2017-08-16 23:29

  本文关键词：云计算环境下计算型任务的资源需求预测

  更多相关文章： 云计算市场模型 资源需求预测 任务分类 多维资源需求 动态资源需求

【摘要】：在过去的近十年中,云计算凭借其部署简单,可靠性高,伸缩性好和通用性广等优点逐渐被普罗大众所接受,进而成为新时代人们工作、学习和生活中一个不可或缺的角色。各大IT巨头企业也都纷纷聚焦云计算,从不同层面,结合自身业务特点,推出各式各样的资源服务,如亚马逊公司的EC2服务和谷歌公司的GAE服务等。用户使用云计算服务提供商的资源服务,并按使用量,参考一定的价格标准,付出相应的费用。然而,目前的云计算资源交付模式要求用户在使用资源之前需要明确资源类型和用量。这对一般用户,尤其是非IT专业的用户而言,无疑是个难题。若资源租用量不足,则可能牺牲用户的服务性能。若资源租用量过多,虽然可以保障用户的服务性能,但可能为用户带来额外的开支。另一方面,从服务提供商的角度出发,其合理有效安排任务调度和资源分发策略的一个重要前提是大致了解任务的资源需求。因此,预测云计算环境下任务的资源需求,在保障用户服务质量的前提下,最小化资源供给,减少用户开销,为服务提供商实施任务调度和资源分发提供参考意见,是一个亟待解决,并且具有实际应用价值的问题。本文在全面、深入地研究了现有云计算资源需求预测相关成果之后,以能够保障用户服务质量的云计算资源需求预测为目标,针对计算型任务,在资源交易市场模型、任务分类、多维资源需求预测以及动态资源需求预测四个方面开展了研究工作：首先,对云计算环境下资源交易市场进行建模分析,抽象出该市场模型下资源需求预测问题的场景。根据不同场景将资源需求预测领域的相关研究工作进行分类总结,并分析出其主流研究趋势和已有工作的不足之处,提出未来该领域研究的新思路。本文选取云计算环境中二级市场模型下计算型任务对个体计算资源需求的预测这一具体场景进行研究,并用形式化语言定义了该场景下的资源需求预测问题。其次,设计了一种基于资源消耗模式的轻量级任务分类方法Bejo,以提高云中计算型任务资源需求预测的准确率。该方法通过研究任务执行过程中周期性收集到的资源消耗快照,挖掘其潜在模式,使用改良的词袋分类技术对云中计算型任务进行分类。Bejo的分类准确率高达84.21%,比传统最优的算法高了7%。另外,与传统算法相比,Bejo无论从预测时间还是鲁棒性上都有明显的优势。接着,提出了一种基于性能约束的多维资源需求预测方法。与传统方法不同的是,该方法考虑了不同资源需求之间的相互制约性。同时,该方法力求得到能够满足用户服务质量需求的最小资源供给量。在该方法中,我们使用二分查找和一个基于密度的性能预测算法来预测任务的多维度资源需求。与传统资源需求预测方法相比,该方法将预测结果的平均准确率提高了28%。最后,研究科学计算型任务的动态资源需求预测问题。科学计算型任务执行时间长,资源需求动态变化等特点使得已有的相关研究不再适用。因此,我们提出了一种基于时间序列的动态资源需求预测算法,结合回归和时间序列分析技术,对任务执行的不同时刻的资源需求进行预测。该方法预测结果的准确度高达74%,并且预测时间开销小,具有良好的应用价值。另外,本文提出了一种集成资源需求预测模块的资源管理系统框架,可以将上述研究集成在一起,提供自动化资源预测,分配和调度管理服务。本文的研究成果将为后续的资源分配和任务调度等研究工作奠定基础。
【关键词】：云计算市场模型 资源需求预测 任务分类 多维资源需求 动态资源需求
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP393.01
【目录】：

• 摘要5-7
• ABSTRACT7-16
• 主要符号对照表16-17
• 第一章 绪论17-29
• 1.1 论文研究背景17-22
• 1.1.1 云计算的发展历程17-18
• 1.1.2 云计算的技术模型18-20
• 1.1.3 云计算服务的市场模型20-21
• 1.1.4 云计算的商业模式21-22
• 1.2 研究问题与面临的挑战22-24
• 1.2.1 研究问题22-23
• 1.2.2 面临的挑战23-24
• 1.3 论文主要研究工作24-27
• 1.3.1 研究内容24-26
• 1.3.2 论文组织结构26-27
• 1.4 本章小结27-29
• 第二章 云计算环境下资源需求预测研究综述与问题建模29-51
• 2.1 引言29-30
• 2.2 云计算服务的通用市场模型30-31
• 2.3 云计算服务场景建模31-36
• 2.3.1 对象32-35
• 2.3.2 对象间的关系35-36
• 2.4 云计算环境下资源需求预测方法概述36-44
• 2.4.1 面临的挑战36-37
• 2.4.2 基于应用场景的分类方法37-41
• 2.4.3 小结41-42
• 2.4.4 云计算环境下任务资源需求预测问题的新思路42-44
• 2.5 云计算环境下计算型任务资源需求预测问题的建模及应用44-49
• 2.5.1 传统的资源管理系统44-45
• 2.5.2 二级市场下计算型任务资源需求预测问题建模45-46
• 2.5.3 资源预测问题建模46-47
• 2.5.4 集成资源需求预测的资源管理系统47-49
• 2.6 本章小结49-51
• 第三章 云计算环境下计算型任务分类方法研究51-69
• 3.1 引言51-53
• 3.2 任务分类相关研究工作53-54
• 3.3 Bejo：基于资源消耗行为模式的计算型任务分类54-61
• 3.3.1 任务分类问题及其挑战54-55
• 3.3.2 任务分类问题描述55-56
• 3.3.3 特征定维方法56-58
• 3.3.4 基于BoW的任务分类方法58-60
• 3.3.5 算法复杂度分析60
• 3.3.6 应用场景60-61
• 3.4 实验与分析61-67
• 3.4.1 数据集选取61-62
• 3.4.2 对比算法与评价标准62-63
• 3.4.3 实验细节63
• 3.4.4 定量分析63-66
• 3.4.5 任务分类在资源预测中的应用66-67
• 3.5 本章小结67-69
• 第四章 基于性能约束的多维资源需求预测方法研究69-95
• 4.1 引言69-71
• 4.2 相关研究71-73
• 4.2.1 性能预测方法相关研究71-72
• 4.2.2 资源需求预测方法相关研究72-73
• 4.3 多维资源需求预测问题描述73-74
• 4.4 基于密度的性能预测算法74-77
• 4.4.1 算法设计74-76
• 4.4.2 相关讨论76-77
• 4.5 启发式资源需求预测算法77-80
• 4.5.1 算法设计78
• 4.5.2 相关讨论78-80
• 4.6 实验与分析80-94
• 4.6.1 数据集选取80-81
• 4.6.2 对比算法与评价标准81-82
• 4.6.3 基于密度的性能预测算法评估82-91
• 4.6.4 启发式资源需求预测算法评估91-93
• 4.6.5 进一步讨论93-94
• 4.7 本章小结94-95
• 第五章 基于时间序列的动态资源需求预测方法研究95-111
• 5.1 引言95-96
• 5.2 时间序列分析96-100
• 5.3 动态资源需求预测问题的形式化描述100-101
• 5.4 动态资源需求预测算法101-104
• 5.4.1 算法设计101-104
• 5.5 实验与分析104-109
• 5.5.1 数据集选取105
• 5.5.2 评价标准105-106
• 5.5.3 实验分析106-109
• 5.6 本章小结109-111
• 第六章 总结与展望111-115
• 6.1 主要工作总结111-113
• 6.2 未来工作展望113-115
• 参考文献115-123
• 致谢123-125
• 在读期间发表的学术论文与取得的研究成果125-126

【相似文献】

中国期刊全文数据库 前10条

1 姚建中;出版物需求预测的风险分析[J];出版发行研究;2001年08期

2 王琦;;未来卫星需求预测[J];卫星电视与宽带多媒体;2006年14期

3 岳云;21世纪初世界移动电话需求预测[J];电信快报;1998年01期

4 月升;2000年世界记录介质的需求预测[J];磁记录材料;1999年04期

5 岳云;1999～2003年全球移动电话需求预测[J];世界电信;1999年06期

6 赵方庚;孙江生;张连武;马振书;;基于系统的武器备件需求预测研究[J];计算机仿真;2011年03期

7 侯广德;;(省、市)计委高校毕业生分配与需求预测系统[J];应用科技;1989年02期

8 陈思;1996年记录介质产品世界需求预测[J];磁记录材料;1996年02期

9 边际;2001年世界记录介质的需求预测[J];信息记录材料;2001年01期

10 李树广;赵彦峻;徐诚;;随机服务系统在装备需求预测与决策建模中的应用[J];兵工自动化;2011年02期

中国重要会议论文全文数据库 前10条

1 宋国青;;从总需求预测的角度看利率[A];2013年秋季CMRC中国经济观察（总第35期）[C];2013年

2 马树德;;卷烟订单需求预测的特点及模型构建[A];上海市烟草专卖局2007年度获奖论文集（经济管理类）[C];2007年

3 张淼;;北京市能源需求预测及发展对策研究[A];北京市第十五次统计科学讨论会获奖论文集[C];2009年

4 高月芳;梁永生;唐飞;欧志伟;湛邵斌;;基于神经网络和VBA的零售业需求预测系统[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年

5 聂锐;张炎治;吕涛;;江苏省能源需求预测及平衡方案设计[A];2006年江苏省哲学社会科学界学术大会论文集（上）[C];2006年

6 王帅;汤铃;余乐安;;基于Wavelet/EMD-LSSVR的分解集成预测模型及其在牛奶消费需求预测中的应用[A];第五届（2010）中国管理学年会——管理科学与工程分会场论文集[C];2010年

7 张舵;高文杰;李小玲;;石家庄市区公共自行车租赁点布局研究[A];2014（第九届）城市发展与规划大会论文集—S04绿色交通、公交优先与综合交通体系[C];2014年

8 王红;;2020年我国教育经费投入强度需求预测及政策建议[A];中国梦：道路·精神·力量——上海市社会科学界第十一届学术年会文集（2013年度）[C];2013年

9 路言峰;;新模型在卷烟需求预测中的探索及应用[A];上海市烟草专卖局2009年度获奖论文集(经济管理类)[C];2009年

10 张哲荣;戴文礼;陈建智;;以潜在信息函数为基础之残差离散灰模型预测短期需求[A];第25届全国灰色系统会议论文集[C];2014年

中国重要报纸全文数据库 前10条

1 梁小民;需求预测的运用与困难[N];中国经济时报;2004年

2 蔡绮芝 DigiTimes;康宁上调2006～2008年玻璃面板需求预测[N];电子资讯时报;2007年

3 本报记者 高蕾;明年钢铁需求预测[N];中国煤炭报;2012年

4 福建龙海市局(分公司) 林文通;遵循科学方法 保证预测质量[N];东方烟草报;2013年

5 朱成章;六大因素影响能源需求预测[N];华中电力报;2004年

6 商报记者 王万利 师兴;2013年国内汽车需求预测达2080万辆[N];北京商报;2013年

7 上海丰宝电子副总经理 刘海东;做好市场和需求预测关键在于有效沟通[N];中国电子报;2008年

8 全国农业技术推广服务中心;2007年农药药械需求预测[N];农民日报;2006年

9 许庆欣;如何进行产品需求预测[N];厂长经理日报;2000年

10 ;十类新型建材未来需求预测[N];陕西科技报;2007年

中国博士学位论文全文数据库 前4条

1 徐琳;云计算环境下计算型任务的资源需求预测[D];中国科学技术大学;2015年

2 詹蓉;面向即时顾客化定制的个性化需求预测方法研究[D];华中科技大学;2008年

3 张志清;面向不确定需求的供应链协同需求预测研究[D];哈尔滨工业大学;2010年

4 演克武;基于需求预测的机型指派和评价研究[D];南京航空航天大学;2010年

中国硕士学位论文全文数据库 前10条

1 祝新春;基于模糊理论的国内旅游需求预测研究[D];湖南工业大学;2015年

2 陈湘芝;基于需求预测的库存管理技术与系统研发[D];哈尔滨工业大学;2015年

3 强春发;应对自然灾害应急粮食需求预测研究[D];南京财经大学;2015年

4 靳绍悦;基于城市轨道交通的停车换乘需求预测[D];大连交通大学;2015年

5 林恬;物料需求计划系统中需求预测模块的开发[D];吉林大学;2008年

6 温晓敏;T公司需求预测和生产计划研究[D];华南理工大学;2009年

7 王e，

本文编号：686114