可重构堆叠存储系统的设计及实现研究

发布时间：2017-09-13 19:43

  本文关键词：可重构堆叠存储系统的设计及实现研究

  更多相关文章： 存储系统 可重构 阵列控制器 PCI Express总线 Linux移植

【摘要】：随着智能设备的普及和网络的高速发展,每年产生的数据量成倍增长。面对巨大的数据量,直连存储和本地存储模式已不能满足海量数据对存储空间的需求,互联网和存储服务厂商纷纷推出网盘等便捷的网络存储方式。网络存储可以充分利用网络资源扩展个人的存储空间,便于管理,可以随时随地的访问存储资源和方便快捷的分享资源。企业也更加依赖网络存储设备,存储企业推出了大型的网络存储设备和存储服务器,网络存储日益普及。可重构堆叠存储就是一种基于网络的灵活存储设计方案,可以为用户提供海量、高速的数据存储服务。本研究提出一种基于可编程逻辑和SATA硬盘的可重构堆叠存储系统。针对海量高速数据存储,设计方案采用XC7K325T-2FFG900C评估板,自定义阵列管理控制器和通道控制器。为实现数据的高速并行存储,提高数据传输速度并扩展存储空间,提出了群Group、组Set、通道Channel的元数据和数据存储空间划分模式,将存储系统的元数据存储在元数据群,而数据存储在数据群。在评估板的RAM中为元数据分配高速缓存,使用定时更新和预取预读策略,使系统访问的元数据存储在高速缓存中,可以大幅度提高元数据的访问速度。数据群由数据组和校验组构成,数据组由8条数据通道构成,校验磁盘用于存储校验计算数据所得校验值。10个相互独立的通道控制器控制SATA硬盘,数据通道连接的磁盘相同偏移位置的扇区组成超扇区SS,一个超扇区含有rpq个扇区,其中r是每个磁盘所含的扇区数,q表示通道的条数,p是每条通道连接硬盘的个数。10组GTX数据传输收发器可以连接10个Marvell接口倍增器,每个接口倍增器可以将一个SATA接口扩展为5个,在不影响接口传输速率的同时扩展存储系统容量。QorIQ通信处理器移植Linux操作系统,分析并修改、编译BootLoader和操作系统内核。通过通信处理平台上的千兆或万兆以太网接口连接网络,搭建NFS网络文件系统用于客户端消息的接收和数据传输。Linux操作系统将接收的数据封装成消息交换格式MES,MES是SATA协议的FIS帧信息格式扩展和修改的消息格式,MES信息中含有包括群、组、通道等的目的地址信息。通信处理板和阵列管理控制器通过PCI Express建立通信连接,最高可以提供20G以上的传输带宽。经测试和验证,存储系统可以提供高效、稳定的数据存储服务。
【关键词】：存储系统 可重构 阵列控制器 PCI Express总线 Linux移植
【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要3-5
• ABSTRACT5-11
• 第一章 绪论11-17
• 1.1 选题背景及意义11-13
• 1.2 存储系统研究现状13-14
• 1.3 研究内容及章节安排14-17
• 第二章 可堆叠存储阵列整体架构17-39
• 2.1 系统设计分析17-21
• 2.1.1 传统分布式存储系统分析18-20
• 2.1.2 可重构堆叠存储阵列20-21
• 2.2 系统硬件平台21-28
• 2.2.1 QorIQ通信处理器21-23
• 2.2.2 阵列管理控制单元XC7K325T-2FFG900C23-24
• 2.2.3 Marvell转接芯片Akupa 88SM970524-26
• 2.2.4 RAID冗余磁盘阵列26-28
• 2.3 系统软件设计分析28-31
• 2.3.1 系统软件总体结构28-30
• 2.3.2 系统开发环境30-31
• 2.4 PCIe通道及消息交换结构MES31-36
• 2.4.1 PCIe总线体系结构31-32
• 2.4.2 PCIe总线的分层和物理结构32-33
• 2.4.3 消息交换结构MES33-36
• 2.5 系统整体架构36-38
• 2.6 本章小结38-39
• 第三章 存储阵列的硬件设计39-57
• 3.1 可堆叠磁盘阵列39-43
• 3.1.1 群组及通道的划分39-41
• 3.1.2 存储介质的超扇区SS41-43
• 3.1.3 逻辑地址单元43
• 3.2 消息交换模块43-44
• 3.3 阵列控制管理模块设计44-49
• 3.3.1 数据缓冲区Buffer45-46
• 3.3.2 数据的分发与合并46-47
• 3.3.3 硬件校验与数据恢复47-48
• 3.3.4 元数据的高速缓存48
• 3.3.5 负载均衡48-49
• 3.4 SATA磁盘通道控制器49-53
• 3.4.1 群组通道管理49-50
• 3.4.2 SATA控制器50-53
• 3.4.3 读写访问53
• 3.5 Marvell 88SM97051 转5磁盘连接器53-54
• 3.5.1 端口倍增器Port Multiplier53-54
• 3.5.2 控制器与SATA磁盘通信54
• 3.6 本章小结54-57
• 第四章 存储系统的软件设计与文件系统实现57-73
• 4.1 虚拟文件系统VFS57-62
• 4.1.1 进程与文件访问57-58
• 4.1.2 文件索引与块缓存58-61
• 4.1.3 文件I/O和块I/O61-62
• 4.2 网络文件系统62-64
• 4.2.1 RPC远程调用62-63
• 4.2.2 NFS系统调用实现63-64
• 4.3 磁盘文件系统64-68
• 4.3.1 元数据的访问与修改65-66
• 4.3.2 文件的并行I/O访问66-68
• 4.4 万兆以太网68-70
• 4.4.1 万兆以太网MAC68-69
• 4.4.2 万兆以太网应用69-70
• 4.5 PCIe驱动设计70-72
• 4.5.1 并行Tx/Rx控制通道71
• 4.5.2 QorIQ与阵列控制器通信71-72
• 4.6 本章小结72-73
• 第五章 Linux系统移植与系统功能测试73-87
• 5.1 嵌入式系统开发环境搭建73-76
• 5.1.1 软件开发环境73-75
• 5.1.2 硬件开发环境75-76
• 5.2 Boot Loader启动分析与移植76-77
• 5.2.1 Boot Loader启动分析76-77
• 5.2.2 配置与编译77
• 5.3 Linux内核配置与编译77-81
• 5.3.1 Linux结构及块设备驱动78-79
• 5.3.2 Linux配置与编译79-81
• 5.4 系统测试81-85
• 5.4.1 系统功能验证82-83
• 5.4.2 系统测试与分析83-85
• 5.5 本章小结85-87
• 第六章 总结与展望87-89
• 参考文献89-93
• 致谢93-95
• 攻读研究生期间发表过的论文95

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

3 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

4 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

5 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

6 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

7 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

8 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

9 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

10 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 俞新杰;跨数据中心容错的云存储系统[D];浙江大学;2016年

3 王振升;可重构堆叠存储系统的设计及实现研究[D];太原理工大学;2016年

4 朱海涛;嵌入式网络存储系统的设计与应用[D];大连理工大学;2010年

5 王如军;模块化柔性存储系统[D];长春光学精密机械学院;2001年

6 赵靖;片段存储系统[D];上海交通大学;2007年

7 郅斌;一种私有云存储系统的设计与实现[D];北京邮电大学;2011年

8 祝青;混合存储系统研究[D];上海交通大学;2013年

9 张达;河北电视台高清新闻网存储系统分析[D];华北电力大学;2011年

10 刘磊;分布式块存储系统节能技术研究[D];华中科技大学;2013年

，

本文编号：845543