高能物理计算环境中存储系统的设计与优化

发布时间：2018-05-05 11:31

  本文选题：高性能计算 + 海量存储　； 参考：《计算机科学》2015年01期

【摘要】：高能物理是典型的数据密集型计算,数据访问性能对整个系统至关重要并与应用的计算模式密切相关。从剖析高能物理的典型计算模式入手,总结出其数据访问的特点,提出针对操作系统I/O调度、分布式文件系统缓存等多个因素的优化措施,优化后数据访问性能和CPU利用率明显提高。大规模存储系统对于元数据管理、数据可靠性、扩容等可管理性等功能也有较高要求,结合现有Lustre并行文件系统的不足,提出了Gluster的高能物理存储系统设计,在进行数据管理以及扩容等方面的优化后,系统已经正式投入使用,数据访问性能能够满足高能物理计算的需求,同时具有更好的可扩展性和可靠性。
[Abstract]:High energy physics is a typical data intensive computing. Data access performance is very important to the whole system and is closely related to the computing mode of application. Based on the analysis of the typical computing mode of high energy physics, the characteristics of data access are summarized, and the optimization measures for operating system I / O scheduling, distributed file system cache and so on are put forward. After optimization, the data access performance and CPU utilization are improved obviously. Large-scale storage system also has higher requirements for metadata management, data reliability, capacity expansion and other manageability functions. Combined with the shortcomings of the existing Lustre parallel file system, the design of Gluster high-energy physical storage system is proposed. After the optimization of data management and capacity expansion, the system has been formally put into use, the data access performance can meet the needs of high-energy physics computing, at the same time, it has better scalability and reliability.
【作者单位】： 中国科学院高能物理研究所计算中心;
【基金】：国家自然科学基金(11205179)资助
【分类号】：TP333

【参考文献】

相关期刊论文 前1条

1 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

【共引文献】

相关期刊论文 前10条

1 杨进;王亮明;唐德玉;;RS纠删码在电子健康档案云存储中的应用[J];广东药学院学报;2012年04期

2 宋秀丽;陈龙;肖敏;;云存储中支持XOR旋转编码的可恢复性验证方案[J];重庆邮电大学学报(自然科学版);2012年06期

3 万武南;王拓;索望;;一种三容错数据布局[J];电子与信息学报;2013年10期

4 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

5 万武南;杨威;;一种基于阵列结构的4容错数据布局[J];成都信息工程学院学报;2014年03期

6 文艾;;移动互联网下基于RS编码的文件传输软件设计与实现[J];电脑知识与技术;2014年29期

7 万武南;杨威;陈运;;一种新的3容错扩展RAID码[J];北京邮电大学学报;2014年05期

8 聂瑞华;张科伦;梁军;;一种改进的云存储系统容错机制[J];计算机应用研究;2013年12期

9 郑胜;李通;;一种应用于大规模存储系统的数据分布算法[J];计算机科学;2013年S2期

10 许方亮;王意洁;裴晓强;;NTar:基于网络拓扑的纠删码树型修复方法[J];计算机研究与发展;2013年S2期

相关会议论文 前1条

1 田原;王营康;肖达;杨榆;;云存储系统中的存储与数据拆分方案[A];第十九届全国青年通信学术年会论文集[C];2014年

相关博士学位论文 前3条

1 庞丽莉;无线网络仪器的时钟同步、定位及数据安全存储算法研究[D];吉林大学;2013年

2 肖宜龙;随机化数据冗余方法及其在存储系统中的应用[D];电子科技大学;2013年

3 程勇;云存储中密文访问控制机制性能优化关键技术研究[D];国防科学技术大学;2013年

相关硕士学位论文 前9条

1 张凯;分布式存储系统中节点修复问题研究[D];西南交通大学;2012年

2 范泉龙;基于秘密共享的多云存储模型研究[D];华东理工大学;2014年

3 王敬轩;分布式文件系统存储效率优化研究[D];华中科技大学;2013年

4 吴昆鹏;对象存储系统的设计与实现[D];中国地质大学（北京）;2014年

5 付园;基于HDFS的优化数据冗余策略的研究[D];吉林大学;2014年

6 蒋向阳;基于Hadoop的云安全存储系统的设计与实现[D];广东工业大学;2014年

7 牛芳;异构存储系统中的节点失效并行化修复研究[D];中国科学技术大学;2014年

8 肖中正;面向大规模数据的分布式存储系统可靠性保障技术研究[D];广西大学;2014年

9 杜智蒙;开放可伸缩关系数据模型及数据分区策略研究[D];郑州大学;2014年

【二级参考文献】

相关硕士学位论文 前1条

1 郑清吉;安全存储系统中纠删码技术研究[D];上海交通大学;2009年

【相似文献】

相关期刊论文 前10条

1 于翔;日立数据推出Lightning 9900 V系列存储系统[J];微电脑世界;2002年11期

2 周可,张江陵,冯丹;基于数据块的对等存储系统的设计与实现[J];计算机工程与科学;2003年03期

3 毛宇星;存储系统未来发展的新趋势[J];中国金融电脑;2004年03期

4 王洛;制造业存储系统应用选型[J];电子商务世界;2004年04期

5 李玮;日立力推新存储系统[J];微电脑世界;2004年11期

6 ;存储系统 电信行业服务满意奖[J];每周电脑报;2004年20期

7 ;存储系统 金融行业服务满意奖 电信行业应用卓越奖[J];每周电脑报;2004年20期

8 ;存储系统 制造行业产品创新奖[J];每周电脑报;2004年20期

9 ;存储系统 电信行业技术领先奖[J];每周电脑报;2004年20期

10 ;快速恢复免重安装——山东师范大学完成图书馆存储系统建设[J];每周电脑报;2004年28期

相关会议论文 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

相关重要报纸文章 前10条

1 记者　 孙永杰;存储：中低端应用渐成热点[N];中国电子报;2005年

2 ;HP再度出击 EMC腹背受敌[N];计算机世界;2000年

3 ;湖北移动建设智能存储系统[N];人民邮电;2002年

4 本报记者 郭平;同有飞骥自主研发统一存储系统[N];计算机世界;2010年

5 ;浪潮存储为北航网络中心升级[N];人民邮电;2007年

6 ;解决方案面向谁？[N];中国高新技术产业导报;2001年

7 张峰 刘平;决战存储之巅[N];网络世界;2003年

8 ;赛 迪 观 市[N];中国计算机报;2003年

9 雪梅;统一存储发展新趋势[N];人民邮电;2012年

10 宋家雨;山东建筑大学图书馆存储系统建设[N];网络世界;2007年

相关博士学位论文 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 许伟民;非编网存储系统规划与分析[D];厦门大学;2008年

2 王宇德;进化存储系统的研究及其关键技术分析[D];华中科技大学;2004年

3 雷小强;基于闪存的混合式存储系统研究[D];华中科技大学;2011年

4 吴永发;面向终端应用的云存储系统研究与设计[D];广东工业大学;2013年

5 胡伟明;云存储系统的设计与实现[D];中国地质大学（北京）;2013年

6 吉永光;树型结构存储系统设计与层间缓存技术[D];华中科技大学;2007年

7 戴泽福;高性能层次并行流存储系统研究与实现[D];国防科学技术大学;2007年

8 王强;社交网站的群集存储系统的研究与设计[D];上海交通大学;2009年

9 马墨峰;基于存储局域网的存储系统的实现[D];西北工业大学;2001年

10 伍开文;低能耗存储系统的设计与实现[D];华中科技大学;2012年

，

本文编号：1847523