面向超级计算的大规模并行存储系统关键技术研究

发布时间：2020-08-25 17:48

【摘要】：近几年来,超级计算技术在科学研究和国民经济建设中扮演越来越重要的角色,应用领域也更加广阔。当前,超级计算和数据存储正迈向E级时代,超级计算机系统计算能力迅速提升,数据规模急剧增大,存储与计算的矛盾日益突出,对超级计算机系统数据处理能力提出巨大挑战。本文主要针对超级计算机大规模存储系统中存在的问题,结合天河超级计算机并行存储系统的研制任务,围绕如何利用新型存储介质提升存储系统的I/O效能,开展新型存储体系结构、元数据服务系统的优化、闪存存储介质及存储阵列的性能优化、系统功耗优化等关键技术的研究,以提升大规模并行存储系统对海量数据的存储能力和处理能力。论文的主要研究工作和创新点如下:1.针对当前的对并行存储系统的优化缺乏量化策略,通过分析理想的并行存储系统模型,研究并行存储中的行为方法,给出了并行存储系统的带宽和延迟的行为模型。根据存储的数学模型和优化策略对并行存储系统体系结构进行了优化,提出了一种新型可定义存储架构。实验表明该架构在可扩展,可升级以及可配置优化方面具有更好的特性。2.针对传统元数据管理技术存在的瓶颈问题,本文根据分区并行、集中管理的设计思路,提出了基于闪存存储阵列和大SMP节点服务平台的元数据分域处理技术,实现了支持高并发的基于固态存储阵列的元数据服务器。实验表明,该技术显著提高了元数据服务的I/O吞吐率和可扩展性,并行存储系统的文件创建和查询速度提升了大约5倍。3.针对大规模并行存储数据带宽高,延迟低的要求,根据程序的局部性原理,采用预测策略重新设计了新的FTL映射策略,该策略有效降低了FTL转换带来的延迟,提升了闪存的读写速率。同时优化算法通过减少地址映射信息未命中而引起的固态盘内额外读写操作,可以有效提高固态盘的整体读写性能,并延长固态盘的使用寿命。4.针对闪存构建RAID以后带来的寿命急剧减少的问题,本文提出了一种基于缓存的可重构RAID策略。一方面,利用失效数据继续在介质中存在的特点,保护有效数据,从而避免了校验码的频繁更新问题,延长了闪存的寿命;另一方面,利用缓冲区写和闪存读可并发的特性,提升了RAID的带宽,降低了I/O访问的延迟;此外,利用缓冲区的替换策略可以将具有同一读写特性的数据汇聚到相近的位置,显著加速了垃圾回收的过程。实验证明相比传统的RAID策略,该策略可以大幅减少垃圾回收和擦除的次数,显著提升闪存介质的使用寿命。5.针对未来基于非易失存储介质的计算存储相融合的系统架构。本文根据大规模非易失存储的计算存储系统的功耗模型,提出了基于通信类的模拟退火算法,利用作业的通信特性对进程进行分类,构建一个次优的初始任务图,根据初始任务图和约束通过模拟退火算法找到局部最优解,采用模拟退火算法实现快速的作业调度策略。实验表明,此种策略较传统任务分配策略时间更短,节能效果更好。
【学位授予单位】：国防科学技术大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 ;领先的技术是应用的保证──贵州中行存储系统浅析[J];计算机周刊;2001年43期

2 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

3 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

4 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

5 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

6 ;昆腾分级存储系统[J];软件世界;2009年11期

7 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

8 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

9 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

10 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

相关会议论文 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

相关重要报纸文章 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

相关博士学位论文 前10条

1 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

2 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

3 沈志荣;纠删码存储系统性能优化研究[D];清华大学;2015年

4 黄志杰;容错存储系统中的MDS阵列码研究[D];华中科技大学;2016年

5 刘进军;云存储系统中基于溯源关系的文件查询与管理方法研究[D];华中科技大学;2016年

6 赵楠楠;分布式键值存储系统高效能数据布局技术研究[D];华中科技大学;2016年

7 宋振龙;面向超级计算的大规模并行存储系统关键技术研究[D];国防科学技术大学;2014年

8 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

9 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

10 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

相关硕士学位论文 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年

6 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年

7 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年

8 邱登峰;基于Hadoop可公共审计云存储的设计与实现[D];大连理工大学;2015年

9 张致元;电子商品存储系统设计与研究[D];复旦大学;2014年

10 刘秉煦;云存储环境下的混合存储算法研究与实现[D];上海交通大学;2015年

本文编号：2804001