基于NoSQL的FITS文件头元数据存储和查询研究

发布时间：2019-04-15 12:13

【摘要】：随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。
[Abstract]:With the application of large-scale astronomical telescopes, observation stations are faced with the massive data storage in the order of PB and the problem of fast retrieval. At the same time, because of the variability of FITS header, which plays a key role in data retrieval, it is difficult to use the traditional relational database to build an unstructured data model which can adapt to the changing requirements. In order to solve this problem, this paper proposes to use NoSQL to store and query the variable metadata information contained in the FITS header which is widely used in astronomy, and discusses the deficiency of storing variable FITS header in relational data model. In this paper, the feasibility of storing variable FITS header metadata in NoSQL is analyzed, and the formal relational algebra is used to discuss the storage query in general. The effectiveness and feasibility of this scheme in storing astronomical variable FITS header are verified by a concrete query example.
【作者单位】： 中国科学院云南天文台;中国科学院大学;昆明理工大学云南省计算机技术应用重点实验室;
【基金】：国家自然科学基金—联合基金资助项目(U1231205);国家自然科学基金资助项目(11263004,11163004) 云南省应用基础研究基金重点项目(2013FA013,2013FA032)
【分类号】：TP333;TP311.13

【相似文献】

相关期刊论文 前10条

1 ;数据存储要换代[J];每周电脑报;2001年09期

2 张军华;数据存储及实用解决方案二例[J];鄂州大学学报;2002年04期

3 乐凡;数据集中 存储突破——平安保险数据存储的现状与发展[J];计算机周刊;2002年20期

4 吴峰;集中环境下证券行业的数据存储方案[J];中国金融电脑;2002年04期

5 张讴东 ,徐燕 ,高卿;多种数据存储媒质及其在数据多级存储中的应用[J];现代电视技术;2003年10期

6 张景亮 ,苏琳琳 ,赵世来;数据存储与管理在“数字化工程”中的地位[J];科学与管理;2003年06期

7 赖莉;数据存储方案分析[J];渝西学院学报(自然科学版);2004年04期

8 朱克亮;;图书馆数据存储方案的比较[J];电脑知识与技术;2005年33期

9 崔宝娣;;企业网络数据存储技术应用分析[J];电力信息化;2008年09期

10 肖平;徐娟;;打造企业稳固的数据存储中心[J];中国管理信息化;2009年19期

相关会议论文 前10条

1 孙峥皓;汪宏f;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年

2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年

5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集（入选部分）[C];2011年

6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年

9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年

2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年

3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年

4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年

5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年

6 本报记者 郭涛;华为存储：高端存储、大数据存储齐头并进[N];中国计算机报;2013年

7 本报记者 方慧玲;纠删码技术：大数据存储的“安全卫士”[N];江苏科技报;2014年

8 ;培养皿中的数据存储[N];网络世界;2007年

9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年

相关博士学位论文 前2条

1 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

2 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年

相关硕士学位论文 前10条

1 萨日娜;一种基于综合阈值的分布式数据存储方法[D];哈尔滨工程大学;2011年

2 胡海光;钻探工程项目数据存储及其安全的应用研究[D];中国地质大学(北京);2012年

3 史玉丽;基于嵌入式的数据存储与通信模块的设计[D];内蒙古师范大学;2012年

4 赵晋;基于宽表的多租户数据存储模式研究[D];郑州大学;2014年

5 陈春霖;云计算中数据存储的完整性校验模型研究[D];东华大学;2013年

6 单旭;异构大数据存储方法研究[D];北京交通大学;2014年

7 王永洲;基于HDFS的存储技术的研究[D];南京邮电大学;2013年

8 王东晨;网络试验平台数据存储研究与实现[D];北京邮电大学;2013年

9 韩方;基于DSP的数据存储与传输系统的研究与设计[D];武汉理工大学;2010年

10 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年

，

本文编号：2458142