基于Netty框架的数据接收与存储云平台设计与实现
发布时间:2021-03-23 18:08
随着物联网技术飞速发展,人们的生产生活更加自动化、智能化。物联网技术深入到各个方面逐渐实现万物的互通互联,但是物联网平台的搭建却因为功能模块复杂、技术需求多样性等因素导致传统的物联网平台建设过程中存在并发性低,数据功能效率低等问题。针对上述问题,本文在对现有物联网数据接收与存储云平台进行分析和研究,打造服务于各类业务的企业级数据接收与存储云平台。本文研究内容定位于物联网层级架构中的应用层,目的是完成物联网应用服务数据接收与存储云平台的设计与实现。具体包括:(1)对当前物联网数据接收与存储云平台进行国内发展趋势和国内外研究成果进行分析,随后针对数据接收与存储云平台各个功能模块进行需求分析。(2)围绕需求展开对数据接收与存储云平台的总体架构实现和各个详细环节的设计和实现,设计过程以平台数据采集、数据持久化、平台高可用设计为主线进行设计和开发,基于Netty框架、NoSQL缓存数据库、Kafka消息中间件等技术实现各个功能模块的开发。(3)针对为保障数据准确性故而提高数据的采集频率导致数据数据冗余问题,在保证数据接收与存储云平台在确保数据的完整性和准确性基础上,实现时间序列上数据低冗余,对原...
【文章来源】:沈阳大学辽宁省
【文章页数】:79 页
【学位级别】:硕士
【部分图文】:
TCP三次握手Fig2.1TCPthree-wayhandshake
沈阳大学硕士学位论文10终端设备和数据接收与存储云平台的通讯采用TCP协议,终端设备和平台进行报文交互之前,终端设备和云平台建立连接,当终端设备完成任务是双方释放这个连接,连接的过程通过三次握手实现[12],整体由连接到断开连接通过四次握手实现,每个连接的建立都需要消耗时间和系统资源。终端设备和数据接收与存储云平台TCP连接过程如图2.1:图2.1TCP三次握手Fig2.1TCPthree-wayhandshake云平台Server端具体过程如图2.2:图2.2TCPServer端流程图Fig2.2TCPServersideflowchart
第2章数据接收与存储云平台的需求分析11终端设备Client端具体过程如图2.3:图2.3TCPClient端流程图Fig2.3TCPClientsideflowchart在不同的应用场景连接形式也有不同形式:(1)TCP长连接适用于操作频繁、点对点通讯等连接数不太多的情况,长连接终端像服务端进行连接请求,当服务端接受连接请求后双方建立长连接,在第一次读写操作后,连接不会主动关闭,而是等待后续操作继续使用此连接。需要实时数据传输的应用例如滴滴订单和用户之间的的连接就是长连接,订单开始后建立连接,实时传递信息数据,当订单结束关闭连接。长连接的形式避免了在数据传递过程中重复TCP建立和关闭操作,减少系统资源的浪费,节约时间对于频繁请求资源的客户来说,较适用长连接[13]。(2)TCP短连接可以理解为每次中终端设备向云平台发送请求都会新建一个新连接,请求处理完后服务端直接断开此连接。短连接的管理方式简单,不需要对连接施加其他控制方法,像WEB网站的服务通常采用短连接,避免大量用户同时长连接导致并发量过大问题。数据接收与存储云平台通过采集终端向云平台发送数据报文实现数据交互,数据报文根据定义好的传输协议进行打包,数据传输协议定义了数据报文的结构,
【参考文献】:
期刊论文
[1]大数据集合中冗余特征排除的聚类算法设计[J]. 侯莉莎. 现代电子技术. 2018(14)
[2]中国互联网发展及其协调性研究[J]. 张雪玲,李嵩峰. 杭州电子科技大学学报(社会科学版). 2017(06)
[3]基于NoSQL的物联网数据本体模型存储技术研究与实现[J]. 唐洪奎,张程,刘骥. 软件. 2017(03)
[4]基于指数平滑预测模型的移动节点定位算法[J]. 单志龙,王宣琳. 华南师范大学学报(自然科学版). 2016(05)
[5]基于Netty框架的高性能RPC通信系统的设计与实现[J]. 张艳军,王剑,叶晓平,李培远. 工业控制计算机. 2016(05)
[6]低速率物联网蜂窝通信技术现状及发展趋势[J]. 赵静. 移动通信. 2016(07)
[7]TCP异步长连接的选择及心跳处理机制的实现[J]. 沈晓. 中国金融电脑. 2014(04)
[8]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香. 微型机与应用. 2013(12)
[9]基于Spring框架的轻量级J2EE架构与应用[J]. 胡启敏,薛锦云,钟林辉. 计算机工程与应用. 2008(05)
硕士论文
[1]基于Redis的高频数据系统的初步设计[D]. 宫正.中国科学院大学(中国科学院近代物理研究所) 2019
[2]物联网应用服务平台的设计与实现[D]. 王昭鹏.中国科学院大学(中国科学院沈阳计算技术研究所) 2019
[3]面向企业的私有物联网云平台设计与实现[D]. 阮晓军.暨南大学 2018
[4]基于Kafka的消息发布订阅服务的设计与实现[D]. 卢帅.南京大学 2018
本文编号:3096200
【文章来源】:沈阳大学辽宁省
【文章页数】:79 页
【学位级别】:硕士
【部分图文】:
TCP三次握手Fig2.1TCPthree-wayhandshake
沈阳大学硕士学位论文10终端设备和数据接收与存储云平台的通讯采用TCP协议,终端设备和平台进行报文交互之前,终端设备和云平台建立连接,当终端设备完成任务是双方释放这个连接,连接的过程通过三次握手实现[12],整体由连接到断开连接通过四次握手实现,每个连接的建立都需要消耗时间和系统资源。终端设备和数据接收与存储云平台TCP连接过程如图2.1:图2.1TCP三次握手Fig2.1TCPthree-wayhandshake云平台Server端具体过程如图2.2:图2.2TCPServer端流程图Fig2.2TCPServersideflowchart
第2章数据接收与存储云平台的需求分析11终端设备Client端具体过程如图2.3:图2.3TCPClient端流程图Fig2.3TCPClientsideflowchart在不同的应用场景连接形式也有不同形式:(1)TCP长连接适用于操作频繁、点对点通讯等连接数不太多的情况,长连接终端像服务端进行连接请求,当服务端接受连接请求后双方建立长连接,在第一次读写操作后,连接不会主动关闭,而是等待后续操作继续使用此连接。需要实时数据传输的应用例如滴滴订单和用户之间的的连接就是长连接,订单开始后建立连接,实时传递信息数据,当订单结束关闭连接。长连接的形式避免了在数据传递过程中重复TCP建立和关闭操作,减少系统资源的浪费,节约时间对于频繁请求资源的客户来说,较适用长连接[13]。(2)TCP短连接可以理解为每次中终端设备向云平台发送请求都会新建一个新连接,请求处理完后服务端直接断开此连接。短连接的管理方式简单,不需要对连接施加其他控制方法,像WEB网站的服务通常采用短连接,避免大量用户同时长连接导致并发量过大问题。数据接收与存储云平台通过采集终端向云平台发送数据报文实现数据交互,数据报文根据定义好的传输协议进行打包,数据传输协议定义了数据报文的结构,
【参考文献】:
期刊论文
[1]大数据集合中冗余特征排除的聚类算法设计[J]. 侯莉莎. 现代电子技术. 2018(14)
[2]中国互联网发展及其协调性研究[J]. 张雪玲,李嵩峰. 杭州电子科技大学学报(社会科学版). 2017(06)
[3]基于NoSQL的物联网数据本体模型存储技术研究与实现[J]. 唐洪奎,张程,刘骥. 软件. 2017(03)
[4]基于指数平滑预测模型的移动节点定位算法[J]. 单志龙,王宣琳. 华南师范大学学报(自然科学版). 2016(05)
[5]基于Netty框架的高性能RPC通信系统的设计与实现[J]. 张艳军,王剑,叶晓平,李培远. 工业控制计算机. 2016(05)
[6]低速率物联网蜂窝通信技术现状及发展趋势[J]. 赵静. 移动通信. 2016(07)
[7]TCP异步长连接的选择及心跳处理机制的实现[J]. 沈晓. 中国金融电脑. 2014(04)
[8]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香. 微型机与应用. 2013(12)
[9]基于Spring框架的轻量级J2EE架构与应用[J]. 胡启敏,薛锦云,钟林辉. 计算机工程与应用. 2008(05)
硕士论文
[1]基于Redis的高频数据系统的初步设计[D]. 宫正.中国科学院大学(中国科学院近代物理研究所) 2019
[2]物联网应用服务平台的设计与实现[D]. 王昭鹏.中国科学院大学(中国科学院沈阳计算技术研究所) 2019
[3]面向企业的私有物联网云平台设计与实现[D]. 阮晓军.暨南大学 2018
[4]基于Kafka的消息发布订阅服务的设计与实现[D]. 卢帅.南京大学 2018
本文编号:3096200
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3096200.html