基于消息总线的高性能计算环境系统软件优化设计与实现
发布时间：2021-04-10 22:32
针对国家高性能计算环境系统软件在传输大量资源信息时遇到性能瓶颈的问题,本文提出基于消息总线的、支持多数据中心的高性能计算环境系统软件优化结构SCE2.0。SCE2.0使用Kafka作为消息通信中间件,提供异步编程接口,并增加了身份认证、权限管理和双层异地数据备份的可靠传输机制。SCE2.0并行吞吐量达到51 000条/s消息,同时可以减少信息传输的时间开销,缩短用户响应时间,降低系统负载,为用户带来更好的体验,实现了高效、高可扩展和高可靠的目标。
【文章来源】：高技术通讯. 2020,30(03)北大核心
【文章页数】：11 页
【部分图文】：
SCE2.0层次架构
环境中的信息按照类别进行区分,每一个类别通过一个消息主题传输数据,消息主题名称存储结构如图2所示。环境中的信息可以分为资源信息(resource)、监控信息(monitor)、日志信息(log)和请求信息(request)。每一类信息又可细分为若干小类。在与消息总线通信时,可以指明具体的消息主题,如“SCEresourcesite1hpc1queue”,即收发site1的hpc1的queue消息;也可以仅指明父消息主题,如“SCEresourcesite1hpc1”,即收发site1的hpc1的所有资源信息,包括queue、job、usermap、app、node、account和disk。消息主题有分区数和副本数2个属性,分区数表示消息被分为几部分处理;副本数表示消息被复制几份。分区数越多,消息处理效率越高,副本数越多,消息安全系数越高,分区数和副本数受集群中服务器个数限制。2.2 消息总线接口设计
消息总线采用集群部署方式,其部署结构如图3所示。部署的ZooKeeper数量、Kafka数量由集群规模决定,一般情况下,ZooKeeper数量为奇数。本文共部署了3个ZooKeeper和3个Kafka,构成消息总线集群。ZooKeeper内部通信使用2888端口和3888端口,对外通信使用2181端口。Kafka对外通信使用9092端口。客户端通过访问2181端口和9092端口与消息总线进行信息传输。2.4 可扩展性设计
【参考文献】：
期刊论文
[1]高性能计算环境中间件的优化设计与实现[J]. 吴璨,王小宁,肖海力,曹荣强,赵一宁,迟学斌. 计算机应用研究. 2019(01)
[2]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG. Science China（Information Sciences）. 2016(07)
[3]High-performance computing environment: a review of twenty years of experiments in China[J]. Zhiwei Xu,Xuebin Chi,Nong Xiao. National Science Review. 2016(01)
[4]基于SOA的EDA的研究和实现[J]. 季云峰. 软件. 2012(07)
[5]三层架构超级计算环境容错框架[J]. 戴志辉,肖海力,曹荣强,迟学斌,曹宗雁. 计算机应用研究. 2011(07)
[6]发布/订阅通信模式的实时性能分析与评估[J]. 刘旭军,马跃,于东. 计算机工程. 2010(20)
[7]基于LSF集群系统的分布式并行计算[J]. 弋瑞录,胡飞,奚水清,侯雪梅. 测控技术. 2006(07)
[8]基于OpenPBS的机群作业管理系统的设计与实现[J]. 童端,董小社,李纪云,刘广红. 计算机工程与应用. 2004(13)
本文编号：3130450
【文章来源】：高技术通讯. 2020,30(03)北大核心
【文章页数】：11 页
【部分图文】：
SCE2.0层次架构
环境中的信息按照类别进行区分,每一个类别通过一个消息主题传输数据,消息主题名称存储结构如图2所示。环境中的信息可以分为资源信息(resource)、监控信息(monitor)、日志信息(log)和请求信息(request)。每一类信息又可细分为若干小类。在与消息总线通信时,可以指明具体的消息主题,如“SCEresourcesite1hpc1queue”,即收发site1的hpc1的queue消息;也可以仅指明父消息主题,如“SCEresourcesite1hpc1”,即收发site1的hpc1的所有资源信息,包括queue、job、usermap、app、node、account和disk。消息主题有分区数和副本数2个属性,分区数表示消息被分为几部分处理;副本数表示消息被复制几份。分区数越多,消息处理效率越高,副本数越多,消息安全系数越高,分区数和副本数受集群中服务器个数限制。2.2 消息总线接口设计
消息总线采用集群部署方式,其部署结构如图3所示。部署的ZooKeeper数量、Kafka数量由集群规模决定,一般情况下,ZooKeeper数量为奇数。本文共部署了3个ZooKeeper和3个Kafka,构成消息总线集群。ZooKeeper内部通信使用2888端口和3888端口,对外通信使用2181端口。Kafka对外通信使用9092端口。客户端通过访问2181端口和9092端口与消息总线进行信息传输。2.4 可扩展性设计
【参考文献】：
期刊论文
[1]高性能计算环境中间件的优化设计与实现[J]. 吴璨,王小宁,肖海力,曹荣强,赵一宁,迟学斌. 计算机应用研究. 2019(01)
[2]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG. Science China（Information Sciences）. 2016(07)
[3]High-performance computing environment: a review of twenty years of experiments in China[J]. Zhiwei Xu,Xuebin Chi,Nong Xiao. National Science Review. 2016(01)
[4]基于SOA的EDA的研究和实现[J]. 季云峰. 软件. 2012(07)
[5]三层架构超级计算环境容错框架[J]. 戴志辉,肖海力,曹荣强,迟学斌,曹宗雁. 计算机应用研究. 2011(07)
[6]发布/订阅通信模式的实时性能分析与评估[J]. 刘旭军,马跃,于东. 计算机工程. 2010(20)
[7]基于LSF集群系统的分布式并行计算[J]. 弋瑞录,胡飞,奚水清,侯雪梅. 测控技术. 2006(07)
[8]基于OpenPBS的机群作业管理系统的设计与实现[J]. 童端,董小社,李纪云,刘广红. 计算机工程与应用. 2004(13)
本文编号：3130450
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3130450.html
