海洋环境监测数据建模及索引技术研究

发布时间：2018-02-10 03:06

本文关键词： 海洋大数据数据建模数据索引数据划分　出处：《上海海洋大学》2016年硕士论文　论文类型：学位论文

【摘要】：近年来,随着信息技术的不断更新,尤其是信息获取技术、互联网、物联网以及社交网络等技术的突飞猛进,导致了各行业数据量的急剧增长,企业及互联网数据以每年50%的速率在增长,据保守估计,目前每年全球至少产生15亿TB的新数据,行业大数据已经成为目前研究的热点。海洋发展战略在国家战略的地位日益突显,海洋领域的各类应用对推动海洋信息化发展具有重大的意义。海洋环境监测手段及设备的多样化和广布局,包括:浮标、卫星、遥感、传感器、监测站等实时数据源采集不仅造成了数据量的密集增长,同时数据呈现出异构性、海量性、多样性、实时性、相似性等特征,因此海洋数据无疑成为大数据的典范。针对该领域数据特征,深入分析数据模式,研究高效的数据存储、划分及查询策略是目前亟须解决的海洋应用问题。海洋数据的异构、多样、复杂等特征,使得数据的存储模式脱离关系型结构,给数据的快速查询和高效利用造成了应用难题,带来了如下问题:如何无需手动调整低层次的视觉及内容细节,以完成表格数据的合理划分及关系转换,从而实现给定领域内其结构化存储。海洋数据的海量性、相似性及空间相关性等特征,给海洋应用(如极地在线考察、怪潮灾害反演)上的数据快速获取和查询造成了巨大的壁垒,带来了如下问题:1)如何对数据计算节点进行动态划分,以适应海洋应用高性能计算、强实时反馈、高频度查询等需求;2)如何建立面向海洋领域的多层索引结构,从而满足多源数据实时查询响应需求,加快了海洋数字化和信息化进程。为此,本文分别提出了全局划分和局部划分策略,在此基础上实现了主从索引机制,从而提高数据的利用率及海洋应用的查询效率。深入学习海洋数据特征,以数据为样本研究分布式存储及索引技术是解决目前应用壁垒的有效途径。针对上述问题,本章节从如下技术路线来优化数据的存储和查询问题:数据建模、数据划分及索引结构,其主要创新及研究内容描述如下:1、对海洋数据存储及表示形式进行描述,面向excel、csv等不具有明确结构的特殊非结构化数据,提出了一种新的基于tabular库的关系数据模型并讨论了其上的查询及优化问题。本文利用partipath划分树,保留表格的语义信息,对表格的关系划分及结构转换,形成数据模式。在此技术上定义了表单数据上的基本查询问题及融合用户兴趣指数改进查询相似度指标,以满足特定查询需求。2、针对数据存储中的关键问题——数据划分,本文首先通过训练采集数据获取数据的特征及内部规律,根据其空间自相关性及分布特征等,制定基于amsp的全局划分策略,将符合特征描述的数据转移到各分布式结点上。其次以需求为导向和用户行为为基础,制定基于amsp的自适应局部划分策略,该策略能及时转移局部数据,保证存储节点的深度一致及平衡。基于admd和amsp的划分模式,设计多层索引结构能显著提高数据的利用率及数据池的访问效率。3、在上述数据划分的基础上,本文提出一种主从索引架构体系,基于AMDM的时间间隔B+-tree索引作为全局索引;基于AMSP的L-RR*树作为局部索引。在此基础上查询处理研究主要分为两个步骤:首先,查询接收器通过时态主索引找到所有与之相关的节点,并建立查询链接。第二步,执行并行化的局部索引搜索模式,并最终的信息返回到客户端。对比实验验证,本文结合实际应用场景论证了该技术架构的合理性,该结构满足了大批量多源数据实时查询响应及查询服务并行运算处理的需求。
[Abstract]:In recent years , with the continuous updating of information technology , especially the technology of information acquisition , Internet , Internet of Things and social networks , the rapid growth of data in various industries has led to the rapid growth of data in various industries . This paper proposes a new method based on amsp , which can improve the utilization rate of data and query efficiency of data pool .

【学位授予单位】：上海海洋大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：P717;TP311.13

【相似文献】