面向大数据物联网的中间件技术
发布时间：2021-06-25 08:10
近些年,物联网（IoT）技术栈的质变发展,IoT产品已经越发普及到日常生活中,人类在智能化物联网应用的需求也日益增长,物联网技术早己经进入了体育、安全、教育等诸多领域,拥有多种多样的物联网产品。物联网技术是将传感器的感知数据进行采集再与云端平台进行耦合,比如环境监控是利用温湿度传感器、共享单车是利用GPS传感器,然而面临物联网产品使用量的剧增,务必伴随着大量感知数据产生,而传统的物联网技术无法进行大数据环境下的机器学习,二次开发成本较高,IoT产品功能也较单一,部署也相对繁琐。因此,面向大数据物联网的中间件技术破茧而出。本文设计实现了一种通用、轻量级的面向大数据的IoT中间件平台,它将物联网智能硬件端的感知,成功与应用层形成了融合,对大量感知数据进行云计算,让物联网智能硬件赋予新的使命,该物联网中间件平台细分为通用性的大数据服务器平台和轻量化的算法服务器平台。针对目前IoT智能硬件终端群提供的大量感知数据的情况,提出了一种通用的感知大数据服务器网络模型,融合多种负载均衡算法,进行大数据消息并发处理。针对传统IoT产品功能单一的情况,该平台也融合了远程智能硬件设备升级与控制技术。针对传统...
【文章来源】：杭州电子科技大学浙江省
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２．４?ＬＸＣ系统架构设计图??本文中，ＭＤＭ－ＩｏＴ中间件的算法服务器的设计采用Ｋｕｂｅｍｅｔｅｓｍ进行容器化管理，配合??Ｐｒｅｏｍｅｔｈｅｕｓｌ２８ｎ?Ｇｒａｆａｎａ［２９】应监
其中?Ｍａｓｔｅｒ?主节点主要由?ＡＰＩＳｅｒｖｅｒ（数据接口）、Ｓｃｈｅｄｕｌｅｒ（调度器）、Ｃｏｎｔｒｏｌｌｅｒ?ｍａｎａｇｅｒ??（控制管理器）、Ｅｔｃｄ?（数据库）组成。ＡＰＩｓｅｒｖｅｒ负责对外部提供ＡＰ丨服务，系统管理的统??一入口，数据库Ｅｔｃｄ的任何操作首先要经过ＡＰＩＳｅｒｖｅｒ；针对于不同容器应用所需的节点依??赖，可以利用调度器配合相关调度算法进行算法镜像应用的调度；ｃｏｎｔｒｏｌｌｅｒ?ｍａｎａｇｅｒ相对于??ＡＰＩＳｅｒｖｅｒ来说，偏向后端处理，是一个负责管理的控制器。??ＭＤＭ－ｌｏＴ中间件上的算法服务器，算法应用以Ｐｏｄ为单元在不同节点Ｎｏｄｅ上运行，而??容器则是一个更小的单元，容器在Ｐｏｄ内部，容器之间是相互隔离的，不过可以通过数据卷??形式共享数据。??２．３．２算法服务器的特点??算法服务器依靠容器属性，环境创建和部署算法及其方便，移植性很强，算法镜像版本??也无需进行格式转换，总结下来，大致以下几个特点：??极其轻量：算法镜像是轻最的镜像文件，只包含必要的Ｂｉｎ文件和Ｌｉｂ文件。??秒级部署：根据算法镜像的大小不同，容器的部署时间差别不过数秒，整个部署时间，??在几秒内即可完成，远超传统虚拟机的方案。??Ｕ??
Ｗｅｂ方面，为了适应快速部署和应用服务扩展升级，采用了?Ｄｊａｎｇｏ［３８］和Ｂｏｏｔｓｔｒａｐ１３９１两??种架构柔和，为了快速响应ＭＤＭ－ｌｏＴ数据中转信息，Ｗｅｂ前部分使用Ｔｏｒｎａｄｏ异步服务??秒级即可达到上万响应效率。ＭＤＭ－ＩｏＴ与云端耦合设计如下图４．１所示：??／?＼隱頂?：纖固件?＇￣■??＼?＾?＼?＊■大数据服务器?Ｔｏｒｎａｄｏ眼务器?一－￣？?＿??（丨纖■讓人反向酿?心跳数据，??＼?／?Ｖ?ｙ?ｙＴ?＾?Ｍ＞ｓｑｌ?数据库??乂?ｉｉｉ?练数据?／??ｖ???ｒ——?—］?１??舰ｎ??＼＾Ｊ??网站??图４．１?ＭＤＭ－ＩｏＴ与云端耦合设计图??其中使用Ｔｏｒｎａｄｏ负责数据接收部分，与之对应的Ｗｅｂ端的Ｄｊａｎｇｏ进行交互式开发??Ｔｏｒｎａｄｏ是一个高效的异步通信模型，基于Ｈｔｔｐ协议进行Ｈｔｔｐ构建，底层直接对丨０事件进??行处理，在收到算法服务器的训练结果数据后，直接本地存入Ｍｙｓｑｌ数据库，供Ｗｅｂ端直接??读取，减少了网站的压力，Ｔｏｒ
【参考文献】：
期刊论文
[1]新能源汽车电弧故障检测方法及测试系统设计[J]. 郭琳,柯希彪,汤引生,陈垚,李英,刘志远. 绝缘材料. 2018(11)
[2]基于改进高斯核函数的BGP异常检测方法[J]. 戴仙波,王娜,刘颖. 计算机工程. 2019(10)
[3]IEEE 1588在分布式无线网络中的研究与发展[J]. 任雅楠,郑宾,郭华玲. 信息技术. 2018(11)
[4]基于Linux系统的云计算技术应用研究[J]. 苏杰. 现代信息科技. 2018(11)
[5]区块链概念剖析及其在物联网中的部分应用[J]. 田海博. 中兴通讯技术. 2018(06)
[6]基于灰色关联分析和BP神经网络的用电量预测[J]. 杨泽众,汪峰,严守靖,晏斌. 价值工程. 2018(35)
[7]利用大数据技术进行海量数据治理[J]. 梁丽琴,郑少明,郑汉军,罗佳. 网络安全技术与应用. 2018(11)
[8]基于开源框架及容器技术的微服务架构[J]. 夏鹏. 电子技术与软件工程. 2018(20)
[9]A clustering-based approach for mining dockerfile evolutionary trajectories[J]. Yang ZHANG,Huaimin WANG,Vladimir FILKOV. Science China（Information Sciences）. 2019(01)
[10]基于地面站的星间链路全网测试技术[J]. 冯旭哲,陈建云,周永彬,杨建伟,黄文德. 计算机测量与控制. 2018(10)
博士论文
[1]面向冷链物流品质感知的物联网数据采集与建模方法[D]. 肖新清.中国农业大学 2017
[2]面向多核处理器的令牌一致性协议优化技术研究[D]. 付桂涛.国防科学技术大学 2014
硕士论文
[1]基于属性加密的云存储数据访问控制方案研究[D]. 易奇.华东交通大学 2018
[2]海量音频检索算法的分布式实现[D]. 辛月.太原理工大学 2018
[3]基于用户态的无线网络传输性能优化[D]. 池维健.电子科技大学 2018
[4]NB-IoT终端安全协议一致性测试集的设计与实现[D]. 郭晓曦.北京邮电大学 2018
[5]物联网网关异构协议中间件关键技术研究[D]. 王艳.深圳大学 2016
[6]基于Android平台的可穿戴ECG远程监护系统[D]. 张正.天津大学 2016
[7]基于OSGi技术数据中间件研究及其在数字化校园的应用[D]. 韩兴亮.国防科学技术大学 2010
[8]基于Agent体检信息与知识管理系统的研究与实现[D]. 纪志强.国防科学技术大学 2008
本文编号：3248848
【文章来源】：杭州电子科技大学浙江省
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２．４?ＬＸＣ系统架构设计图??本文中，ＭＤＭ－ＩｏＴ中间件的算法服务器的设计采用Ｋｕｂｅｍｅｔｅｓｍ进行容器化管理，配合??Ｐｒｅｏｍｅｔｈｅｕｓｌ２８ｎ?Ｇｒａｆａｎａ［２９】应监
其中?Ｍａｓｔｅｒ?主节点主要由?ＡＰＩＳｅｒｖｅｒ（数据接口）、Ｓｃｈｅｄｕｌｅｒ（调度器）、Ｃｏｎｔｒｏｌｌｅｒ?ｍａｎａｇｅｒ??（控制管理器）、Ｅｔｃｄ?（数据库）组成。ＡＰＩｓｅｒｖｅｒ负责对外部提供ＡＰ丨服务，系统管理的统??一入口，数据库Ｅｔｃｄ的任何操作首先要经过ＡＰＩＳｅｒｖｅｒ；针对于不同容器应用所需的节点依??赖，可以利用调度器配合相关调度算法进行算法镜像应用的调度；ｃｏｎｔｒｏｌｌｅｒ?ｍａｎａｇｅｒ相对于??ＡＰＩＳｅｒｖｅｒ来说，偏向后端处理，是一个负责管理的控制器。??ＭＤＭ－ｌｏＴ中间件上的算法服务器，算法应用以Ｐｏｄ为单元在不同节点Ｎｏｄｅ上运行，而??容器则是一个更小的单元，容器在Ｐｏｄ内部，容器之间是相互隔离的，不过可以通过数据卷??形式共享数据。??２．３．２算法服务器的特点??算法服务器依靠容器属性，环境创建和部署算法及其方便，移植性很强，算法镜像版本??也无需进行格式转换，总结下来，大致以下几个特点：??极其轻量：算法镜像是轻最的镜像文件，只包含必要的Ｂｉｎ文件和Ｌｉｂ文件。??秒级部署：根据算法镜像的大小不同，容器的部署时间差别不过数秒，整个部署时间，??在几秒内即可完成，远超传统虚拟机的方案。??Ｕ??
Ｗｅｂ方面，为了适应快速部署和应用服务扩展升级，采用了?Ｄｊａｎｇｏ［３８］和Ｂｏｏｔｓｔｒａｐ１３９１两??种架构柔和，为了快速响应ＭＤＭ－ｌｏＴ数据中转信息，Ｗｅｂ前部分使用Ｔｏｒｎａｄｏ异步服务??秒级即可达到上万响应效率。ＭＤＭ－ＩｏＴ与云端耦合设计如下图４．１所示：??／?＼隱頂?：纖固件?＇￣■??＼?＾?＼?＊■大数据服务器?Ｔｏｒｎａｄｏ眼务器?一－￣？?＿??（丨纖■讓人反向酿?心跳数据，??＼?／?Ｖ?ｙ?ｙＴ?＾?Ｍ＞ｓｑｌ?数据库??乂?ｉｉｉ?练数据?／??ｖ???ｒ——?—］?１??舰ｎ??＼＾Ｊ??网站??图４．１?ＭＤＭ－ＩｏＴ与云端耦合设计图??其中使用Ｔｏｒｎａｄｏ负责数据接收部分，与之对应的Ｗｅｂ端的Ｄｊａｎｇｏ进行交互式开发??Ｔｏｒｎａｄｏ是一个高效的异步通信模型，基于Ｈｔｔｐ协议进行Ｈｔｔｐ构建，底层直接对丨０事件进??行处理，在收到算法服务器的训练结果数据后，直接本地存入Ｍｙｓｑｌ数据库，供Ｗｅｂ端直接??读取，减少了网站的压力，Ｔｏｒ
【参考文献】：
期刊论文
[1]新能源汽车电弧故障检测方法及测试系统设计[J]. 郭琳,柯希彪,汤引生,陈垚,李英,刘志远. 绝缘材料. 2018(11)
[2]基于改进高斯核函数的BGP异常检测方法[J]. 戴仙波,王娜,刘颖. 计算机工程. 2019(10)
[3]IEEE 1588在分布式无线网络中的研究与发展[J]. 任雅楠,郑宾,郭华玲. 信息技术. 2018(11)
[4]基于Linux系统的云计算技术应用研究[J]. 苏杰. 现代信息科技. 2018(11)
[5]区块链概念剖析及其在物联网中的部分应用[J]. 田海博. 中兴通讯技术. 2018(06)
[6]基于灰色关联分析和BP神经网络的用电量预测[J]. 杨泽众,汪峰,严守靖,晏斌. 价值工程. 2018(35)
[7]利用大数据技术进行海量数据治理[J]. 梁丽琴,郑少明,郑汉军,罗佳. 网络安全技术与应用. 2018(11)
[8]基于开源框架及容器技术的微服务架构[J]. 夏鹏. 电子技术与软件工程. 2018(20)
[9]A clustering-based approach for mining dockerfile evolutionary trajectories[J]. Yang ZHANG,Huaimin WANG,Vladimir FILKOV. Science China（Information Sciences）. 2019(01)
[10]基于地面站的星间链路全网测试技术[J]. 冯旭哲,陈建云,周永彬,杨建伟,黄文德. 计算机测量与控制. 2018(10)
博士论文
[1]面向冷链物流品质感知的物联网数据采集与建模方法[D]. 肖新清.中国农业大学 2017
[2]面向多核处理器的令牌一致性协议优化技术研究[D]. 付桂涛.国防科学技术大学 2014
硕士论文
[1]基于属性加密的云存储数据访问控制方案研究[D]. 易奇.华东交通大学 2018
[2]海量音频检索算法的分布式实现[D]. 辛月.太原理工大学 2018
[3]基于用户态的无线网络传输性能优化[D]. 池维健.电子科技大学 2018
[4]NB-IoT终端安全协议一致性测试集的设计与实现[D]. 郭晓曦.北京邮电大学 2018
[5]物联网网关异构协议中间件关键技术研究[D]. 王艳.深圳大学 2016
[6]基于Android平台的可穿戴ECG远程监护系统[D]. 张正.天津大学 2016
[7]基于OSGi技术数据中间件研究及其在数字化校园的应用[D]. 韩兴亮.国防科学技术大学 2010
[8]基于Agent体检信息与知识管理系统的研究与实现[D]. 纪志强.国防科学技术大学 2008
本文编号：3248848
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/3248848.html
