云平台监控系统的研究和实现

发布时间：2017-11-02 06:01

  本文关键词：云平台监控系统的研究和实现

  更多相关文章： 云计算 分布式监控 时间序列 预测

【摘要】：近年来,云计算的热潮席卷全球各地。国内也迎来了云计算发展的高峰期,逐步融入企业领域。云计算的难点在于“运维”,而监控系统是运维环节中非常重要的一部分。监控系统对于提高云平台的稳定性,提高服务质量,降低云平台的运维成本发挥着非常关键的作用。因此,研究和实现云平台监控系统具有重要意义。当前国内外有很多开源的监控产品,比如zabbix、cacti、collected等,但是它们都存在不同方面的缺点：没有提供预警机制,系统安全性和稳定性较差；不支持分布式,水平扩展性较差；当机器和监控项增多时,性能急剧下降；监控项比较单一,不支持某些特定服务和应用的监控等。本文在研究当前多个系统监控解决方案的基础上,设计并实现了一套更加通用的、高可用的、具有预警机制的分布式监控系统。主要工作有：基于时间序列规则的实值预测技术,实现了流量高峰预警机制；优化并实现了推、拉结合的数据采集模型;基本监控指标自动采集,免配置；基于一致性哈希算法,实现了负载均衡机制；制定了规范的数据格式标准,支持插件扩展,可以监控大多数应用和服务：监控数据采用“双写”策略,使数据高可用。最后,本文通过Mysql监控实例,验证监控系统的基本功能。经过性能测试,本监控系统在高并发环境下仍然具有不错的性能表现。通过仿真实验,证明了基于时间序列规则的实值预测技术在流量预测上的可行性。
【关键词】：云计算 分布式监控 时间序列 预测
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP277
【目录】：

• 摘要4-5
• Abstract5-12
• 第1章 绪论12-15
• 1.1 研究背景和意义12-13
• 1.2 本文工作和主要贡献13-14
• 1.3 本文组织14
• 1.4 本章小结14-15
• 第2章 相关工作15-29
• 2.1 数据采集技术15-18
• 2.1.1 pull模型和push模型15-17
• 2.1.2 P&P模型17-18
• 2.2 一致性哈希算法18-24
• 2.2.1 介绍18-19
• 2.2.2 线性哈希算法的缺点19-21
• 2.2.3 一致性哈希的原理21-24
• 2.3 基于时间序列的预测技术24-25
• 2.3.1 基于时间序列当前值的预测24
• 2.3.2 基于时间序列可伸缩规则的预测24-25
• 2.3.3 基于时间序列符号流的预测25
• 2.4 数据存储技术25-28
• 2.4.1 RRD介绍25-26
• 2.4.2 RRDtool管理监控数据26-28
• 2.5 本章小结28-29
• 第3章 系统架构设计29-36
• 3.1 系统架构29-32
• 3.1.1 系统架构29-30
• 3.1.2 数据模型30-32
• 3.2 核心问题32-33
• 3.3 解决方案33-35
• 3.3.1 数据采集33-34
• 3.3.2 流量预警34
• 3.3.3 监控系统高可用和数据容灾备份34
• 3.3.4 弹性扩容34-35
• 3.4 本章小结35-36
• 第4章 监控系统的设计和实现36-59
• 4.1 数据采集模块的设计和实现36-42
• 4.1.1 自适应动态调整采集间隔的P&P-push算法36-39
• 4.1.2 监控指标分类39
• 4.1.3 插件扩展机制39-40
• 4.1.4 需要历史点的数据采集40-42
• 4.2 数据转发模块的设计和实现42-47
• 4.2.1 数据合法性校验42-43
• 4.2.2 内存队列缓冲监控数据43-44
• 4.2.3 高可用和容灾备份44-45
• 4.2.4 扩容方案设计45-46
• 4.2.5 数据转发46-47
• 4.3 报警模块的设计和实现47-53
• 4.3.1 报警模块的整体设计47-49
• 4.3.2 同步报警策略49-51
• 4.3.3 历史数据点的存储51
• 4.3.4 高效的报警逻辑判断51-53
• 4.4 基于时间序列规则的流量预警53-57
• 4.4.1 预测模型54
• 4.4.2 数据表示和数据预处理54-56
• 4.4.3 流量模体发现56-57
• 4.4.4 构造流量预测规则57
• 4.5 本章小结57-59
• 第5章 系统集成和测试59-69
• 5.1 Mysql监控实例59-61
• 5.2 流量预测仿真实验61-65
• 5.3 系统性能测试65-68
• 5.3.1 实验环境65-66
• 5.3.2 数据查询性能测试66-68
• 5.4 本章小结68-69
• 第6章 总结和展望69-70
• 6.1 本文主要工作和贡献69
• 6.2 未来研究工作展望69-70
• 参考文献70-73
• 致谢73

【相似文献】

中国期刊全文数据库 前10条

1 李阳,王应雪;基于网络的监控系统的建设[J];微电脑世界;2003年01期

2 史贺男,梁晓春;静脉输液结束呼叫监控系统设计[J];微计算机信息;2004年11期

3 张三国;监控系统常见的故障现象及其排除方法[J];甘肃科技;2005年07期

4 李存建;;一种昼夜监控系统的设计[J];中小企业科技;2007年01期

5 文俊杰;;构建GPS监控系统的技术分析[J];科技信息(学术研究);2007年23期

6 郝永伟;;安全防范监控系统的设计[J];微计算机信息;2008年16期

7 Rich Hovan;石磊;;更符合规范要求的可预测排放监控系统[J];软件;2009年10期

8 朱立伟;张智勇;包左军;龚柏岩;;公路监控系统现行国家及交通行业标准分析[J];交通标准化;2009年19期

9 罗涛;;浅析黄延高速隧道供电监控系统[J];今日科苑;2009年24期

10 张聪;王辉;孙博月;;监控系统的设计原则与方案[J];中小企业管理与科技(上旬刊);2013年04期

中国重要会议论文全文数据库 前10条

1 周秀云;;浅谈监控系统发展[A];第二十届中国（天津）'2006IT、网络、信息技术、电子、仪器仪表创新学术会议论文集[C];2006年

2 周秀云;;浅谈监控系统发展[A];第二十届中国（天津）’2006IT、网络、信息技术、电子、仪器仪表创新学术会议论文集[C];2006年

3 李民;;监控系统在城域范围的应用[A];天津市电视技术研究会2009年年会论文集（1）[C];2009年

4 王峥瀛;周文;谭华;汤正阳;;三峡梯调监控系统完善方案及实现[A];中国水力发电工程学会信息化专委会2009年学术交流会论文集[C];2009年

5 林荔;陈汇;;福建省气象资料上行监控系统[A];第28届中国气象学会年会——S1第四届气象综合探测技术研讨会[C];2011年

6 于雪龙;林则亮;吴强;陈华;龙靖;;水利闸(站)群监控系统的设计与实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年

7 杨佳;华钢;;货轮监控系统的设计和应用[A];第十五届全国煤矿自动化学术年会和中国煤炭学会煤矿自动化专业委员会学术会议论文集[C];2005年

8 陈云波;;合肥电信动力监控系统改进的几点构想[A];2005年安徽通信论文集[C];2006年

9 朱晓军;丁铭雄;李成喜;;矿友煤炭产量监控系统的设计[A];AECC专题学术研讨会论文集[C];2007年

10 薛彦波;何凤有;吕现钊;王敦胜;;煤化工煤储运监控系统研究[A];中国计量协会冶金分会2008年会论文集[C];2008年

中国重要报纸全文数据库 前10条

1 记者 孙宜华 通讯员 谭晓平;年底前八成乡镇配备监控系统[N];连云港日报;2007年

2 记者 杨丽英 张春亮;山西开工建设企业须安装污染源监控系统[N];中国冶金报;2007年

3 伊鸣;升级监控系统减轻煤企负担[N];中国煤炭报;2008年

4 林荫;山西省 三级森林监控系统启用[N];中国安全生产报;2009年

5 赵彦东 记者 马怀华;我市煤矿产量及税费监控系统在全省推广[N];鸡西日报;2010年

6 通讯员 钟臣彪;长汀建设校园“全球眼”监控系统[N];闽西日报;2010年

7 记者 陈岩　王皓;哈尔滨联通建设泊车监控系统[N];人民邮电;2010年

8 梁健　小全;泾阳建成社会救助动态监控系统[N];咸阳日报;2011年

9 江建方;危废信息化监控系统建成[N];中国环境报;2014年

10 记者 吕峰 通讯员 王天润 雷孝民;河南南召：研发监控系统拓展监督途径[N];检察日报;2014年

中国博士学位论文全文数据库 前4条

1 于兴治;国家行政监控系统的分析理论与应用研究[D];大连理工大学;2010年

2 冯宪阳;基于WSN的物流车辆监控系统效率优化研究[D];大连海事大学;2015年

3 常光辉;大规模分布式可信监控系统研究[D];重庆大学;2011年

4 王彦;大型能耗监控系统通信网络及控制策略研究[D];湖南大学;2012年

中国硕士学位论文全文数据库 前10条

1 黄向宇;基于Web技术的光伏发电监控系统的研究[D];华南理工大学;2015年

2 李儒;智能路灯监控系统设计[D];西安石油大学;2015年

3 刘合良;基于以太网的建筑设备一体化监控系统设计与研究[D];北京建筑大学;2015年

4 林楠;基于PSC的煤矿井下供电监控系统研究与应用[D];昆明理工大学;2015年

5 梁国威;知识库驱动的临床用药监控系统研究[D];浙江大学;2015年

6 徐梅;医院输液监控系统的设计与研究[D];河北联合大学;2014年

7 李越;汽车整车物流运输协同监控系统的研究与实现[D];西南交通大学;2015年

8 张乾;基于Modbus TCP和WEB的监控系统应用及设计[D];长江大学;2015年

9 袁延梅;基于互联网和WSN的户用光伏电站监控系统[D];曲阜师范大学;2015年

10 丰敏波;基于J2EE的网上论坛舆情监控系统分析与设计[D];上海交通大学;2015年

，

本文编号：1130247