面向大数据异构系统的神威并行存储系统

发布时间：2021-04-17 09:21

　　随着大数据应用和传统高性能计算应用的融合以及异构计算的引入,传统面向高性能计算的并行存储系统面临着异构计算I/O支持差、性能干扰和效率低等问题。通过在系统架构引入多层次存储架构、设计缓存映射机制来减轻I/O负载。在转发服务层,调整I/O转发策略,均衡I/O负载。在后端存储层,对系统高可用功能进行调整,解决大数据I/O访问模式与原有高可用措施的冲突。经过优化设计和完善后的并行存储系统更好地适应了异构众核架构,使得某些应用获得了10倍以上的I/O性能提升。 

【文章来源】：大数据. 2020,6(04)

【文章页数】：10 页

【部分图文】：

存储系统组成

LWFS是在“神威蓝光”存储系统中引入的[24],早期的设计没有考虑异构众核场景,计算节点采用了无缓存的用户层文件系统设计。对于异构众核架构的“神威·太湖之光”来说,无缓存的设计会导致频繁的网络I/O,增加系统开销。为了支持异构众核场景的I/O访问,LWFS引入缓存设计,并且设计协同机制,与I/O转发服务层的缓存保持一致。图5 数据缓存方式

图4 神威并行存储系统架构如图5所示,数据缓存有两种方式,第一种方式是某块数据(如data1)只在特定的I/O转发服务节点上缓存,这种方式的好处是缓存在I/O转发服务节点处共享,一致性协议只需支持多计算节点和I/O转发服务节点间的缓存一致性即可,高效简单。但缺点是数据与服务节点黏性太大,不利于服务节点的容错以及I/O通路的灵活调度。第二种方式是数据(如data2)可以在不同的I/O转发服务节点上缓存,一致性协议需要考虑多I/O转发服务节点之间的数据同步及更新。神威并行存储系统中的实现方式是两种方式的融合,同一资源分区的相同I/O数据(例如同一块磁盘上的数据)通过哈希运算尽量在相同服务节点缓存,只有在服务节点负载过大或者非同一资源分区时,同一块I/O数据才缓存分布在多服务节点。

【参考文献】：
期刊论文
[1]基于“神威太湖之光”的Caffe分布式扩展研究[J]. 朱传家,刘鑫,方佳瑞.  计算机应用与软件. 2020(01)
[2]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG.  Science China（Information Sciences）. 2016(07)



本文编号：3143205