面向IoT终端的海量TCP连接管理集群系统的设计与实现

发布时间：2020-06-20 12:20

【摘要】：随着物联网市场规模日益增大,物联网终端得到迅猛发展,数量成指数倍增长。通过单服务器对海量终端TCP(Transmission Control Protocol)网络接入进行连接管理已经难以进行,多服务节点成为海量TCP连接管理与数据传输服务的必然选择。然而在多服务节点架构和海量TCP连接的情况下,如何维护海量终端在不同服务节点上连接信息的一致性,以及保障上下行数据传输的可靠性,是一个亟待解决的问题。针对此问题,本文设计与实现了集群协调机制和上下行消息处理机制。同时,基于以上机制设计了一种新型的TCP连接管理集群系统,该系统可以满足海量终端通信高并发、高负载和实时数据传输的需求。本文首先结合系统业务需求,对关键问题、性能提升策略进行研究,对系统总体设计方案、功能模块划分进行设计。其次,对系统集群协调机制、上行消息处理机制、下行消息处理机制和异步网络连接管理中的模块进行详细设计与实现。基于Zookeeper的简单数据模型和多样化节点类型,设计系统元数据存储模型,实现集群节点角色选举、启动离线监控功能,保证集群节点间数据的一致性。基于分布式发布-订阅消息中间件Kafka实现系统对外提供统一集群上行消息业务服务接口,业务层调用该接口获取业务处理数据。基于分布式调用中间件GRPC(Google Remote Procedure Call)和集群协调机制的高可用,实现不同终端在不同服务节点间的数据快速下发,提高下行数据传输效率。实现系统Session共享管理机制,高效管理终端连接和定时检测超时连接,使系统资源得到最大化利用。使用合理的自定义通信协议,解决数据传输过程中出现粘包、拆包问题,完成数据编解码、加解密,保证数据收发的正确性和安全性。最后,对系统进行功能和性能测试,系统各个功能模块正常工作,并发数大于6000的性能测试结果表明,采用本文系统设计方案平均响应时间较Java NIO方案缩短了60%,吞吐量提高了53%,且单台服务器可处理20000个终端高并发连接请求,达到了系统预定的目标。
【学位授予单位】：重庆邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN929.5;TP391.44
【图文】：

增长预测,行业市场,农机,农机工作

图 1.1 中国物联网行业市场规模增长预测农机领域，截止 2018 年，农机正以每年 200 万台的数量生产下均使用寿命超过 5 年，部分核心功能农机工作时间更长，按照农机的数据将高达 1000 万台。与此同时，在农机上安装智能终

原理图,终端连接,原理图,农机

从而帮助车辆制造商实现信息化与智能化管理，终端连接原理如图1.2 所示。除了数据上行服务，农机物联网系统还需要承载农机的远程控制，其典型应用场景为出现故障时的远程关机，以防止故障农机对农业生产或人员安全造成威胁，在此情况下，远程控制对下行时延要求较高。为了保证农机物联网智能应用上行数据传输的完整性、可靠性和稳定性，以及下行控制指令的低时延，采用 TCP(Transmission Control Protocol)长连接就是必然的选择了。在数据传输的流量特点上，物联网终端与传统的互联网应用有着明显的区别。在农机物联网应用中，终端的典型数据上传一般为每 30 秒一次的周期性上传，随着国四发动机等新型发动机的应用，数据业务的需求更高，可能会达到 7 秒一次，甚至更短。在这种情况下，农机应用中，有多少台终端就有多少个活跃用户，因此连接中心服务器的活跃用户仅仅农机一项就将高达 1000 千万，而一旦实现农业生产的智能化，负责数据接收的 TCP 连接管理服务器将面临海量 TCP 长连接的负载压力。除了数量上的压力，由于终端采用了无线方式进行上传，目前物联网领域常用的基础网络包括 GPRS(General Packet Radio Service)、3G、LTE(Long Term Evolution)以及NB-IoT 等，虽然这些网络在技术体系上存在一定的差别，但在实现 PS(Power Save)域数据上传业务时

【相似文献】