在Elastic Stack上实现智慧能管的云雾整合架构的研究

发布时间：2020-08-03 10:43

【摘要】：当前,我国的经济总量和能源消费总量连续多年位居世界前列。与此同时,我国的单位GDP能耗与世界平均水平仍有较大差距,能源利用效率依旧不高。由此种种带来了能源短缺和能源污染问题,而提高能源的使用效率是现阶段最现实最直接的解决这些问题的途径。一个优秀能源管理平台能够帮助企业单位加强对于能耗的把控,提升其辐射园区内的能源利用效率。数据是一个平台的基础,当前是物物联网的时代,基础数据的获取方式发生了巨大的改变。物联网给数据的实时性和准确性带来了蜕变,也给这些数据开辟了新的应用前景。当前的很多智慧平台采用的都是物联网+云计算的模式,由采集点将数据推送给云端,云端对这些数据挖掘和分析。在无实时性需求或平台数据承载能力足够时,这种模式往往能够取得很好的效果。但是,如果面对大量实时的数据流,物联网+云计算的模式无法做到低时延应答,且网络带宽、数据可靠性等等问题难以解决。对此本文考虑在物联网+云计算的模式之间加入雾计算,雾计算用来补充云计算的这些短板。雾计算的计算节点接近数据边缘,能够快速接收、处理、存储、转发边缘数据,缓解云端压力,增加数据的有效利用率。而对于云计算和雾计算之间存在的巨大差异,本文使用了Elastic Stack作为云计算和雾计算间的数据桥梁。Elastic Stack能够安全可靠地获取任何来源、任何格式的数据,对于云计算和雾计算的不同环境也可以灵活应对。本文内容是建设一个智慧能管平台的一部分,整个平台整合了物联网数据采集、雾计算和云计算、大数据分析预测等等大的模块。本文主要工作包括雾端的架构设计和功能实现,云端的存储架构设计,云雾间数据对接的实现,以及Elastic Stack平台的部署和使用等等。在具体研究实现过程中,本文通过容器技术进行雾端的资源管理,多种消息中间件进行数据缓存,部署Elastic Stack平台进行数据分析,使用Spring Cloud架构完成雾端数据应用的开发等等。最终结果表明,本文研究实现的云雾混合架构的数据通路能够保持稳定连通且能够承担相当的数据流压力,数据过滤实现预期功能且具备强大的灵活性,数据分析使用Elastic Stack平台能够对实时数据流进行高自由度的探索挖掘。本文使用了多种新型技术和技术特性并将其整合,不仅能够应用于能管平台,也可以延申到其他平台。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09
【图文】：

云计算将硬件资源虚拟化，通过互联网提供给用户使用，其服务层次是按照提供虚拟化资源的深度来分层的。云计算服务层次可分为三层，基础架构即服务(IaaS)、平台即服务 (PaaS) 和软件即服务 (SaaS)，如图2-1所示[19]。各层的作用按名称就可以理解，基础架构即服务直接和硬件打交道，就像我们个人电脑上的驱动程序；平台即服务提供应用平台，就像个人电脑上的操作系统；软件即服务可以直接提供具体应用服务，与个人电脑上的个人安装的第三方软件类似。图 2-1 云计算服务模式基础设施即服务通常是提供最底层即基础计算资源的服务模式，可以是计算、存储等等资源，对应的服务表现形式可以是虚拟机、数据库、中间件等等[20]。在IaaS 模型中，云提供商托管传统上存在于本地数据中心的基础架构组件，包括服务器，存储和网络硬件，以及虚拟化或虚拟机管理程序层。IaaS 提供商还提供一系列服务以配合这些基础架构组件

雾计算在边缘节点和集中云之间在物理上和功能上是中间的，雾计算是一种中等重量和中等水平的计算能力，其通常的部署模式如图3-1所示。一般在有云计算和雾计算的系统中，雾计算是作为云计算的补充而非替代品, 雾计算可以说是云计算的延申[24]。可以在大型云系统和大数据结构中感知到雾计算，从而客观地感受到获取信息方面日益增长的困难，这也会导致所获得的内容质量不足。雾计算对云计算和大数据系统的影响可能会有所不同，但是，一个共同的方面是对准确内容分发的限制，这个问题已经通过创建旨在提高准确性的指标来解决。需要注意的是，雾计算的概念和边缘计算有些相似，其功能也类似，二者位置上都是处于终端设备和云计算数据中心之间，都有一定的计算和存储数据的能力。在很多时候对这两个概念都不做区分，但是严格来说，雾计算包含了边缘计算[25]。通常雾计算总是会使用边缘计算，但边缘计算并不等同于雾计算。雾计算是一种系统体系结构

第四章 云雾桥梁 Elastic Stack第四章 云雾桥梁 Elastic Stack两章分别介绍了云计算和雾计算在能管平台中应用的可行性，势和不足。本章介绍 Elastic Stack 在云雾整合上的作用。astic Stackstic Stack 是一整套数据解决方案，自身大部分基于开源软件构建4-1所示，Elastic Stack 包含了 Beats、Logstash、Elasticseatch、Ki常一起配套使用。它们各自分工密切协作，使整个平台具备数据、搜索、分析功能等完备功能。

【相似文献】

相关期刊论文 前10条

1 郭昆灵;;智慧建筑理念在现代建筑中应用的探讨[J];智能城市;2019年16期

2 ;智慧农业大棚物联网，见证蔬菜大棚+物联卡的天作之合[J];农业工程技术;2019年18期

3 王雄;;5G与物联网的“化学反应”[J];计算机与网络;2019年15期

4 乔恒博;;智慧农业发展中物联网技术在设施农业中的应用[J];乡村科技;2019年20期

5 罗超;;物联网技术驱动安防市场应用大升级[J];中国公共安全;2019年07期

6 李纪鑫;;物联网技术在校园建设中的应用普及分析[J];南方农机;2019年16期

7 定美辰;;物联网技术在智慧城市建设中的应用[J];通信电源技术;2019年08期

8 郑昱;;物联网:一个充满活力的市场[J];中国自动识别技术;2014年05期

9 ;国家物联网产业示范基地——物联网特色小镇[J];杭州(我们);2015年12期

10 侯远达;王敏;焦明;胡建军;;外军物联网建设对我军军交运输领域的启示[J];军事交通学院学报;2013年11期

相关会议论文 前10条

1 李媛红;;物联网团体标准探索与实践[A];第十六届中国标准化论坛论文集[C];2019年

2 王星昌;;物联网技术革命与移动“大连接”战略发展研究[A];物联网与无线通信-2017年全国物联网技术与应用大会和2017年全国无线电应用与管理学术会议论文集[C];2017年

3 张大鹏;张刘华;;建筑消防物联网技术应用研究初探[A];2016中国消防协会科学技术年会论文集[C];2016年

4 朱飞勇;;基于物联网的消防安全工作实践与思考[A];2016中国消防协会科学技术年会论文集[C];2016年

5 刘建国;毕晓华;;基于物联网的灾害现场内部环境监测及预警关键技术[A];2016中国消防协会科学技术年会论文集[C];2016年

6 贾俊涛;;关于“智慧消防”建设的几点思考[A];2016中国消防协会科学技术年会论文集[C];2016年

7 刘志勇;杨小华;李佩河;;门址数据应如何迎接物联网时代的到来[A];卫星导航产业机遇与挑战2010[C];2010年

8 杨婷婷;李晶晶;李丹;;探究“互联网+”时代物联网技术在沈阳智慧城市中的应用[A];第十五届沈阳科学学术年会论文集（理工农医）[C];2018年

9 拓洁;;试分析物联网对会计的影响[A];探索科学2016年6月学术研讨[C];2016年

10 黄冰倩;黄珊;张雅;;物联网技术在智慧环保中的应用[A];第六届云南省科协学术年会暨红河流域发展论坛论文集——专题二：滇南中心智慧城市建设[C];2016年

相关重要报纸文章 前10条

1 记者 平阳 通讯员 夏滨彬;桐乡打造全国“互联网+医疗”发展先行地[N];嘉兴日报;2016年

2 本报记者 李佳师;物联网如何跳出“看起来很美”？[N];中国电子报;2016年

3 本报记者 赵晨;“开放物联”从全局引领物联网产业发展[N];中国电子报;2016年

4 本报记者 李佳师;中国或因物联网而领跑全球[N];中国电子报;2016年

5 本报记者 李佳师;物联网是地产行业转型的有力推手[N];中国电子报;2016年

6 记者 崔晓利;构建物联网 推广新技术[N];安阳日报;2016年

7 ;《中国移动互联网发展报告(2016)》发布 移动互联网将向智慧物联网发展[N];中国电子报;2016年

8 柯文;MWCS2016：一场“连接”的盛宴[N];人民邮电;2016年

9 本报记者 徐勇;5G是爱情，基于现实基础才更甜蜜[N];人民邮电;2016年

10 本报见习记者 赵利利;“连接”驱动物联网创新[N];中国科学报;2018年

相关博士学位论文 前10条

1 乔冠华;基于移动边缘计算的物联网资源管理策略研究[D];电子科技大学;2019年

2 易灵芝;基于物联网的铀尾矿库周边环境放射性污染智能监测方法与理论[D];南华大学;2018年

3 余昌盛;窄带物联网和双连接中资源管理关键技术研究[D];浙江工业大学;2017年

4 王平泉;基于行为特征的物联网服务生成与推荐关键技术研究[D];北京邮电大学;2018年

5 冯亮;基于物联网的再制造物流系统协同管理研究[D];西北工业大学;2017年

6 叶周景;基于路面振动物联网监测的车路综合信息获取技术[D];北京科技大学;2019年

7 杨洋;物联网中资源优化与定位技术研究[D];华中科技大学;2017年

8 何康力;物联网交互系统的量化验证方法研究[D];华东师范大学;2019年

9 卢其兵;基于制造物联网的制造过程信息处理关键技术研究[D];武汉理工大学;2016年

10 王书龙;物联网接入系统架构及关键技术研究[D];北京工业大学;2017年

相关硕士学位论文 前10条

1 储海军;基于物联网+快速发药系统研发及关键技术的研究[D];江苏科技大学;2018年

2 李嘉;基于物联网的智慧校园服务设计研究[D];湖北工业大学;2019年

3 陈曦冉;河南省现代农业发展中推广应用物联网的制约因素及对策研究[D];河南财经政法大学;2019年

4 杨巍;基于NB-IoT的智能仓储温湿度实时监控系统设计[D];吉林大学;2019年

5 姚思宇;物联网无线智能健康服务终端系统的设计与实现[D];吉林大学;2019年

6 张兵;软件定义物联网架构下异构网络融合方法研究[D];新疆大学;2019年

7 白雪;物联网路由传输优化机制的研究[D];新疆大学;2019年

8 胡启超;基于物联网的仓储管理系统设计与实现[D];青岛科技大学;2019年

9 常润民;基于物联网的生猪养殖环境监控系统研制[D];江苏大学;2019年

10 仲泽;基于物联网的智能水培生菜测控系统的设计与实现[D];江苏大学;2019年

本文编号：2779517