天文大数据存储管理关键技术研究

发布时间：2017-11-09 03:15

  本文关键词：天文大数据存储管理关键技术研究

  更多相关文章： 阵列数据 分布式 并行化 CASA 天文

【摘要】：伴随着信息爆炸,大数据时代已经走入各行各业,在诸如天文学、物理学、社会科学等行业中正源源不断地产生着真正的海量大数据。然而在这些行业中,对大数据存储、处理、分析的手段还相对落后。另一方面,Yahoo、Google等互联网公司不断推出处理大数据的新技术,诸如分布式化、并行化的设计思想和技术被广泛运用。然而,当今许多主流的科学软件依然是串行化设计,其性能低下,极大地影响了对科学大数据的高效处理。在天文科学界,随着几个国际合作的天文项目的筹建,先进的观测设备投入使用,获取到的数据量如潮水般涌来。而常用的射电天文处理软件CASA却是集中式串行设计。虽然CASA提供了强大的天文阵列数据处理的功能,但现在却无法快速实时的满足当前海量天文数据处理的需求。为了使CASA继续发挥其在阵列数据处理上的优势,又可以应对海量数据的快速数据存取,本文对CASA底层数据存储的分布式化,并且使其分布式底层可以适应阵列数据进行了研究。首先,论文阐述了海量阵列数据处理所面对的挑战与重要意义,以及阵列数据的背景、特殊性和常用的处理方法。对海量数据处理的方法进行了总结与归纳。介绍并分析了并行编程,分布式系统,数据分配的发展历程和当前状况。总结了他们各自所取得的成就和不足之处。然后,论文对阵列数据处理模型进行了详细的总结,其中包括阵列数据底层的存储模型、CASA的体系架构、数据流程和其底层数据读写实现。随后,本文深入研究了适用于CASA的分布式底层的结构设计和实现。其底层主要由数据划分策略与数据分配策略、分布式的文件系统、DDSS_StMan的实现和整个数据导入导出流程设计四个方面组成。其中,数据划分和数据分配策略的设计实现描述了对列存储海量阵列数据采取混合分片和基于并行进程的一致性哈希分配的方案；分布式的文件系统为CASA的分布式底层提供了支持,并且适应之前数据划分策略；DDSS_StMan重写了CASA的数据读写方法,使其支持分布式化和并行化；数据导入导出流程从宏观上展示了整个系统从指令查询到返回结果的过程。最后,本文使用MWA天文项目的数据作为测试数据集,将上述的各项关键技术实现,整合入CASA库,并且进行性能验证。通过对相关技术的性能测试结果进行对比分析,验证了本文所述内容的正确性和有效性。在处理海量数据时,实现了CASA的分布式化和并行化,并且显著提升了CASA的数据读写能力。
【学位授予单位】：东华大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP333

【相似文献】

中国期刊全文数据库 前10条

1 文韬;;NetWorker使存储管理无忧[J];每周电脑报;1997年08期

2 叶梅,马梅,杨大键,赵京伟;BEPC束测系统数据存储管理模型[J];核电子学与探测技术;2003年05期

3 陈金水;王];;非结构化数据存储管理的实用化方法[J];计算机与现代化;2006年08期

4 田保军;秦罡;秦婷;;实时数据存储管理的研究与设计[J];内蒙古工业大学学报(自然科学版);2010年03期

5 程智宾;林fx;;停车场控制器数据存储管理[J];电子世界;2012年24期

6 曹刚;;大数据存储管理系统面临挑战的探讨[J];软件产业与工程;2013年06期

7 尤晓刚;夏秀燕;;网格环境下的数据存储管理[J];信息技术;2007年09期

8 邓成玉,王 超,贺 琪;XML数据存储管理技术[J];燕山大学学报;2002年02期

9 张虹;轻松部署设计SAN[J];中国计算机用户;2003年43期

10 ;Oracle选用Mammoth[J];上海微型计算机;1998年18期

中国重要会议论文全文数据库 前2条

1 章红宇;;大规模数据存储管理系统[A];第十届全国核电子学与核探测技术学术年会论文集[C];2000年

2 张孝;周胜;王珊;;大对象数据存储管理的一种实现——PBase/Easybase系统LONG管理器的存储管理[A];第十六届全国数据库学术会议论文集[C];1999年

中国重要报纸全文数据库 前7条

1 北京天科思诺信息技术有限公司 黄斌;“新闻出版业数据存储管理系统解决方案”简介[N];中国计算机报;2000年

2 ;EMC领导存储软件市场[N];人民邮电;2001年

3 记者 刘慧敏;万由电子研发技术实现新突破[N];宁波日报;2009年

4 ;构建新数据结构管理[N];计算机世界;2004年

5 萨文;构建全新的数据结构管理[N];国际商报;2004年

6 宋家雨;存储一体化关键在于“搜索”[N];网络世界;2007年

7 记者 耿倩;“麒麟”占领云计算制高点[N];科学导报;2014年

中国硕士学位论文全文数据库 前7条

1 过汇卿;天文大数据存储管理关键技术研究[D];东华大学;2016年

2 陈洁;银行数据中心数据存储管理的实现与优化[D];复旦大学;2009年

3 罗时辉;XML数据存储管理系统[D];南京理工大学;2003年

4 盛丰;RFID中间件中数据存储管理的关键技术研究[D];南京理工大学;2012年

5 刘丽丽;一种新的XML数据存储管理技术及其在电子商务中的应用[D];四川大学;2004年

6 王超;基于空间数据库的栅格数据存储管理关键技术研究[D];国防科学技术大学;2009年

7 朱晓洁;基于Hypertable的空间数据存取服务[D];北京邮电大学;2014年

，

本文编号：1160058