基于CastorFS和Xrootd的用户空间文件系统的设计与实现

发布时间：2020-03-25 04:46

【摘要】：在欧洲核物理研究委员会（CERN），科学家们用大型强子对撞（LHC）实验使用海量存储系统来对数以千T字节的实验数据进行存储和管理。这个系统就是CASTOR（CERN高级存储管理系统）。它为进行科学实验提供了强大和便捷的数据支撑。然而，用户在使用这个数据管理系统的时候只能用其提供的具体命令行去访问和操作其中的数据。这样一个基于FUSE（用户空间文件系统）和两个CASTOR输入输出库（NS库和Rfio库）的文件系统CastorFS被开发出用于进一步简化CASTOR系统的使用。尽管此文件系统已经成功被部署在LHCb的节点上，然后它有很大的缺陷极大地限制了其应用范围。当用户想要获取某个存储大量数据的文件夹时，它使用的两个库极大地增加了CASTOR服务器端的负载，而且它们也不提供任何数据保护的机制。除此而外，缓慢的数据传输速度也极大地限制了文件系统的应用。这样，，我们需要开发一个缓存来有效地对短时期要用的大量数据进行存储并使用新的数据传输协议Xrootd来重新构建CastorFS以降低CASTOR服务器端的负载，提供更快的数据传输服务，提供安全的数据访问机制。新的系统实现LRU（Least recently used）算法作为实现缓存管理的机制，运用FUSE提供的实现虚拟文件系统的接口以及Xrootd所提供的符合POSIX标准的功能函数来提供一个有效降低服务器端负载，传输速度更加稳定可靠，带有安全认证功能的用户空间文件系统，当前系统以及在LHCb的节点上经过测试并已经被成功部署以服务于科学计算。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP333;TP315

【共引文献】

相关期刊论文 前10条

1 李宝磊;张榆锋;施心陵;章克信;张俊华;;一种用于山区土壤重金属评估的集成RBF空间插值算法(英文)[J];Journal of Southeast University(English Edition);2015年01期

2 马海波;周东健;黄希;徐海黎;;基于K-S距离的GM(1,1)的机械设备剩余寿命预测[J];南通大学学报(自然科学版);2013年04期

3 陈刚;程耀东;;数据密集型网格平台示范站点与应用[J];科研信息化技术与应用;2011年01期

4 王恒;马海波;徐海黎;朱龙彪;贾民平;;机械设备性能退化评估与预测研究综述[J];机械强度;2013年06期

5 汪璐;李莎;闫庞勇;;云存储技术在高能物理计算中的应用研究[J];科研信息化技术与应用;2013年06期

6 臧冬松;霍菁;梁栋;孙功星;;基于MapReduce的高能物理数据分析系统[J];计算机工程;2014年02期

7 徐海铭;刘晓;刘健;;突发事件下关键基础设施应急保护策略研究[J];科学技术与工程;2014年16期

8 赵阳;徐田华;周玉平;赵文天;;基于贝叶斯网络的高铁信号系统车载设备故障诊断方法的研究[J];铁道学报;2014年11期

9 王宇;张来斌;胡瑾秋;蔡战胜;;基于DBN模型的炼化装置故障诊断技术研究[J];中国安全科学学报;2014年03期

10 王恒;马海波;徐海黎;花国然;;基于K-S检验和动态灰色模型的机械设备剩余寿命预测方法[J];仪表技术与传感器;2015年01期

相关博士学位论文 前2条

1 樊沛;虚拟计算环境中面向通信特征的应用部署优化技术研究[D];国防科学技术大学;2012年

2 罗雅琴;视频监控分析云的高可用性研究[D];华中科技大学;2013年

相关硕士学位论文 前10条

1 杨斌;云计算中虚拟机迁移的研究[D];北京邮电大学;2013年

2 李绍辉;秦皇岛发电有限责任公司全成本在线分析系统应用研究[D];燕山大学;2013年

3 陈青山;一种车间层远程可配置的终端软件系统及其管理平台研究与开发[D];重庆大学;2013年

4 逄晓东;基于WTL的DirectUI开发框架研究与实现[D];哈尔滨工程大学;2013年

5 吴栋栋;基于模板的会话式数控编程技术研究与实现[D];华中科技大学;2013年

6 姜洋;国际学术会议网站管理系统的设计与实现[D];电子科技大学;2013年

7 张文彬;电磁金属探测器的设计[D];天津理工大学;2013年

8 李炎;基于OSGi的家庭网关的研究和应用[D];北京工业大学;2013年

9 邬运亮;面向突发断电的嵌入式linux工控系统可靠性设计[D];重庆大学;2014年

10 汤绍富;基于ARM11的超声波探伤仪研究与设计[D];南昌大学;2014年

本文编号：2599419