面向时域天文学的时空数据存储布局

发布时间：2022-04-18 20:52

　　天文学是最早进入大数据时代的学科之一,随着望远镜观测数据量的不断增大,天文学数据存储也逐渐成为了新的问题。不同于传统的数据存储方式,天文学数据具有数据量大,同时具有时间和空间两种属性的特点。这种特点在时域天文学这一天文学分支中体现的更多明显。时域天文学注重观测天体在一段时间内的变化,其数据按照观测时间顺序生成,但是在查询请求却按照空间顺序提取数据。在南极天文观测的应用场景中,由于这种特定的数据处理方式,导致传统的布局方式在本应节能的存储系统上浪费了能源。因此一套面向天文观测的时空数据存储布局显得尤为必要。通过调研传统的数据布局系统和节能存储技术,本文分析了传统的磁盘变速技术、磁盘分组技术、数据冗余技术在南极存储节能系统及数据布局中所能起到的作用和不足之处,讨论了南极气候和环境对存储系统的制约之处,设计了一套面向南极天文观测的时空数据布局方案。这种方案改变了传统的按照时间顺序进行存储的方案,将磁盘矩阵和观测天区进行结合并一一对应,使用缓存磁盘将原始的观测数据从按照时间排序转为按照空间排序,再存储到天区对应的磁盘中。同时使用树形结构对观测天区中的热门观测区进行再划分,将密集的数据进行分割;... 

【文章页数】：55 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景
    1.2 国内外研究现状及发展趋势
    1.3 主要工作和贡献
    1.4 本文内容和结构
第2章 存储布局概述
    2.1 存储布局对节能存储的影响
    2.2 节能存储技术分析
        2.2.1 磁盘变速技术
        2.2.2 磁盘分组技术
        2.2.3 数据冗余技术
    2.3 节能存储技术总结
    2.4 南极天文观测存储系统
第3章 南极天文观测数据布局研究及设计
    3.1 南极天文观测背景分析
    3.2 数据布局设计
        3.2.1 布局架构设计
        3.2.2 分块式布局
        3.2.3 针对热门数据的树形优化
        3.2.4 针对冷门数据的冗余优化
第4章 仿真环境设计及仿真结果分析
    4.1 仿真环境设计
    4.2 均匀数据分布模式
        4.2.1 均匀数据分布的产生
        4.2.2 不同数据布局的表现
    4.3 模拟数据分布模式
        4.3.1 模拟数据分布的产生
        4.3.2 不同数据布局的表现
    4.4 真实数据分布模式
        4.4.1 真实数据分布的产生
        4.4.2 不同数据布局的表现
    4.5 仿真实验结果分析
第5章 已知数据分布下的时空数据存储布局
    5.1 布局结构分析
    5.2 仿真实验及结果
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
发表论文和参加科研情况说明
致谢


【参考文献】：
期刊论文
[1]提高数据中心能效最佳途径[J]. 张颖琪.  华东科技. 2017(03)
[2]数据挖掘技术在天文学中的应用[J]. 张彦霞,赵永恒.  科研信息化技术与应用. 2011(03)
[3]磁盘存储系统节能技术研究综述[J]. 田磊,冯丹,岳银亮,吴素贞,毛波.  计算机科学. 2010(09)

博士论文
[1]磁盘存储系统节能关键技术研究[D]. 谢晓玲.华南理工大学 2012
[2]盘阵列的数据布局技术研究[D]. 毛波.华中科技大学 2010



本文编号：3646346