海量高性能分布式消息系统的设计与实现

发布时间：2020-03-18 06:29

【摘要】：随着人工智能(Artificial Intelligence,AI)、大数据的技术突破,与此同时,伴随着区块链技术的兴起,传统的消息系统已经无法满足大数据情况下的数据传输与通信,无法全部满足分布式集群、高可用、弹性可扩展、消息传递多样化等需求。此外,面对物联网(Internet of Things,IoT)信息交换和通信,迫切需要消息系统具备处理海量数据的能力,并且需要保证系统数据处理达到高性能的要求。当前,大部分消息系统的编程语言都是基于JVM运行环境,这就导致这类系统的运行效率比机器语言编写的系统运行效率要低。而有些满足高性能要求的消息系统,却又不满足分布式处理能力和高可用可扩展的要求。对此,本文以适应物联网发展的需要为基石,研究构建一个海量高性能分布式消息系统。消息系统需要使各个系统之间进行消息的传递和数据的交换,以维持各个系统之间的互联互通。本文研究的系统将在此基础功能之上,构建实现海量存储、高性能数据发送和接受、分布式计算以及高可用。研究的策略主要是分析现有消息系统的瓶颈、系统的实用性、系统是否采用现代化的技术架构、是否适用于大数据量高并发的应用场景等问题,针对这些问题给出可行的设计思路和可实现的技术细节。系统采用高并发的Go语言编写,支持TiDB数据库系统作为其存储引擎,设计上实现分布式计算、简洁高效的通信协议、智能算法、微服务等功能,并且保证数据的完整性和安全性。此外,消息发送的模式更加多样化,支持发布/订阅模式、请求/响应模式、消息队列模式。系统已经成功部署到公司的服务器上,并且经过一系列的测试,测试结果表明系统基本满足设计目标。从功能性要求和非功能性技术指标而言,本系统解决了消息系统所面对的所有已知不足以及已知的技术瓶颈,从而成为真正意义上的现代化消息服务系统。
【图文】：

线程模型,语言

第二章系统相关的技术从系统实现的角度出发，可以将系统相关的技术分为平台技术、系统框架、数据存储、测试技术和核心算法。其中，系统的核心技术是系统框架与算法。2.1 编程技术本系统采用 Go 语言编写，这个语言可以根据运行平台的不同而编译生成支持该平台运行的可执行文件（部分功能需要根据平台的不同而采用不同平台的依赖库），它属于那种简单、高性能和高效率的编程语言。因此，我们可以根据实际场景的需要，可以编译支持 windows 系统，也可以支持开放、安全、稳定的 Linux 系统或者 Unix 系统。本系统从编程语言上规避了对运行系统的要求，这样可以保证运行环境更加开放，这样也满足物联网服务的技术指标。从系统的安全性与稳定上考虑，本系统主要运行在Linux（Linux 的发型版本是 CentOS7）或者 Unix 系统上。系统并发能力主要是通过 Go 语言的线程模型实现的，Go 语言的并发模型见图 2-1。

流程图,系统数据,流程图,消息

这些需求进行充分分析。本系统需要实现的功能需求有消息传递模块、安全模块、分布式集群模块和监控管理模块。为了保证系统的功能的准确性和易用性，本章节将对核心功能需求和非功能需求进行简单的介绍。3.1 系统综合分析系统作为分布式消息中间件，具有一定的实用价值，下面将从系统的业务分析和系统用例两个方面说明系统的基本业务功能。3.1.1 业务分析系统的业务主要是消息数据的发布、存储和接受。外部系统通过本系统发送消息，需要连接到本系统；第三方系统通过本系统订阅单一主题或者订阅某种类型的主题，接受发送端发送给该主题的消息；对于重要的消息数据，系统支持保存发送的消息数据。系统完整的数据处理流程，见图 3-1。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52

【相似文献】