大容量数据采集存储系统的研究与实现

发布时间：2020-05-27 15:12

【摘要】： 随着电子、计算机和数字信号处理技术的高速发展,在各种试验、工程应用或军事领域中,需要纪录的数据量成倍增长,速度也越来越快。于是对采集存储系统提出了一系列新的要求,比如脱机、在野外、长时间、高精度的采集存储。这一要求使现在的数据采集存储系统面临着比较大的挑战。 针对这些应用需求,本文设计并研制了一套高精度、大容量、而且能够长时间、脱机运行的数据采集存储系统。采用AD8352和AD9627搭建采集模块,实现高精度采集;使用Altera公司的FPGA实现高速数据流分路、通道选择、高速缓存控制、系统工作时序控制和与后端存储模块相互通信等功能。存储部分采用基于FPGA、SDRAM、FLASH和NVRAM的简单磁盘整列控制器进行数据缓存和高速存储。其中NIOSII系统实现数据的分块和参与校验信息的计算,运用NVRAM实现磁盘阵列CACHE功能。该系统的特点是:其一,可以高精度、双通道同时采集;其次,完全可以脱离计算机独立运行,便携性大大增强,而且能够适应各种恶劣的工作环境;其三,采用磁盘阵列大大提高了其存储容量和速度;最后,该系统采用冗余和模块化设计,可以根据实际使用环境进行升级,进一步提高系统的性能。该大容量数据采集存储系统在试验研发阶段采用两通道,两个磁盘阵列同时工作,持续存取速率可达120MB/s,后期可通过增加通道数、磁盘阵列数、磁盘所载硬盘数或更换高速度的磁盘阵列控制器CPU来提升整个系统的性能。 本文主要工作如下: 1.提出了基于统计特性的多通道数据分配方案和基于FPGA的磁盘阵列控制方案来处理采集到的高速率大容量数据,并从软件仿真和整体测试对方案和系统性能进行全面的验证。 2.从组成结构、性能要求、器件选择和工作原理几方面,详细介绍该大容量数据采集与存储系统,并详细描述了各个功能模块的设计原理和实现过程。 3.完成了系统的数据分配、通道选择,高速缓存控制和磁盘阵列控制等多个模块的设计与仿真;设计并调试电路板。 4.从采样率、采样精度、信噪比等多方面对系统的采集部分进行了测试与分析,测试结果表明,该系统拥有较高的可靠性和稳定性。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2010
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 张询;速度快容量大的新型存储系统[J];世界电子元器件;1997年09期

2 杨春燕;用SAN构筑现代企业信息存储系统的优势[J];内蒙古电力技术;2002年S1期

3 ;专家观点[J];中国计算机用户;2006年43期

4 ;HDS AMS 2000系列的创新之道[J];通信世界;2009年08期

5 金文新;;大型高校图书馆计算机网络集成系统建设[J];情报科学;2009年04期

6 李静;;浅谈HIS系统对服务器和存储设备的要求及设计方案[J];信息与电脑(理论版);2009年11期

7 刘刚;张海涛;李瑞东;张强;;一种基于模块化设计的NAS集群存储系统[J];微计算机信息;2011年05期

8 于耳;;建立面向应用的存储系统[J];中国教育网络;2011年06期

9 ;数字视频存储系统[J];光学精密工程;1977年06期

10 张明明;;为信息传输设备保驾护航——访EMC公司中国区产品经理马永亨先生[J];上海微型计算机;1998年Z1期

相关会议论文 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 查长流;刘培志;刘莹;;一种高速大容量数据采集存储系统的设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年

3 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

4 周博;宿绍莹;陈曾平;;基于CPCI总线的宽带雷达数据传输存储系统设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年

5 周功业;周江;陈希;陈进才;;寄生存储原理及实现机制[A];第15届全国信息存储技术学术会议论文集[C];2008年

6 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集（一）[C];2006年

7 聂明;;构建海量存储系统 提升媒体竞争力[A];中国新闻技术工作者联合会2008年学术年会论文集（下）[C];2008年

8 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

9 刘湛明;吴柳坚;;数字电视台的建设[A];2007第二届全国广播电视技术论文集2（下）[C];2007年

10 罗香玉;李传佑;汪芸;;纠删码容错组的布局策略研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

相关重要报纸文章 前10条

1 山东 聂阳文;基于USB接口的大容量数据采集存储系统设计[N];电子报;2010年

2 朗飞;IBM“冰立方”就像搭积木[N];中国计算机报;2006年

3 郭涛;MediaGrid既不是SAN也不是NAS[N];中国计算机报;2007年

4 本报记者　　张峰;知己知彼建存储（上）[N];网络世界;2006年

5 森林;NAS资源存储系统[N];中国电脑教育报;2002年

6 Hifn(汉帆)杭州信息技术有限公司 马剑杰;自动精简配置：提升存储利用率有绝招[N];中国计算机报;2009年

7 ;IBM收购存储解决方案公司[N];计算机世界;2007年

8 本报记者 徐恒;面临机遇 中国新型存储业合作求创新[N];中国电子报;2011年

9 李想 徐晋;福州电业局研发个人文件安全存储系统[N];中国电力报;2006年

10 ;HDS推出企业入门级存储系统[N];计算机世界;2005年

相关博士学位论文 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

6 施展;基于本体的存储系统管理研究[D];华中科技大学;2011年

7 黄继鹏;高速高可靠小型数字视频存储系统的设计与实现[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2012年

8 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年

9 金超;容错存储系统的结构优化技术研究[D];华中科技大学;2011年

10 刘军平;磁盘存储系统可靠性技术研究[D];华中科技大学;2011年

相关硕士学位论文 前10条

1 汪志刚;大容量数据采集存储系统的研究与实现[D];电子科技大学;2010年

2 陆正武;面向流媒体应用存储系统的研究与实现[D];华中科技大学;2004年

3 丁珍红;基于STM32的高速大容量数据采集存储系统设计[D];上海交通大学;2011年

4 郭宗强;高速大容量数据采集存储系统的设计[D];河南科技大学;2012年

5 杜睿;基于IP-SAN技术的石化企业数据集中存储系统的设计与实现[D];华东理工大学;2010年

6 金强;基于HBase的RDF存储系统的研究与设计[D];浙江大学;2011年

7 余智敏;数字化图书馆的数据存储技术的研究[D];武汉理工大学;2006年

8 陶博舟;磁盘阵列快照系统的设计与实现[D];华中科技大学;2007年

9 张小艳;基于嵌入式技术的USB存储系统的设计与实现[D];内蒙古大学;2011年

10 蒋亚群;基于DLX体系结构的微处理器核的设计与实现[D];中国人民解放军国防科学技术大学;2002年

，

本文编号：2683720