大数据环境下支持概率数据范围查询索引的研究

发布时间：2017-11-16 07:35

  本文关键词：大数据环境下支持概率数据范围查询索引的研究

  更多相关文章： 大数据 概率数据 索引 概率概要信息 多分辨率网格

【摘要】：随着数据规模的不断增长,大数据管理具有重要意义.在众多数学模型中,因为概率模型可以将海量数据抽象成少量概率数据,所以它非常适合管理大数据.因此,研究大数据环境下的概率数据管理具有重要意义.作为一种经典查询,基于概率数据的范围查询已被深入研究.然而,当前研究成果不适合在大数据环境下使用.其根本原因是这些索引的更新代价较大.该文提出了索引HGD-Tree解决这一问题.首先,该文提出了一系列算法降低新增数据的处理代价.它可以保证树结构平衡的前提下快速地执行插入、删除、更新等操作.其次,该文提出了一种基于划分的方法构建概率对象的概要信息.它可以根据概率密度函数的特点自适应地执行划分.此外,由于作者提出的概要是基于比特向量,上述策略可以保证索引以较低空间代价管理概率数据.最后,该文提出了一种基于位运算的方法访问HGD-Tree.它可以用少量的位运算执行过滤操作.大量的实验验证了算法的有效性.
【作者单位】： 东北大学信息科学与工程学院;
【基金】：国家“九七三”重点基础研究发展规划项目基金(2012CB316201) 国家自然科学基金(61272178,61572122,61173031,61129002,61532021,U1401256) 国家优秀青年科学基金(61322208)资助~~
【分类号】：TP311.13
【正文快照】： 1引言 由大数据的3V模型可知,高效管理大数据面临两大挑战:(1)数据的高效存储;(2)事件的快速响应.例如,在环境监测系统中,通常有MB规模的传感器实时向服务器上报监测数据.假设传感器每隔5s向服务器上报一次数据,并且每条数据的净荷只有10Byte,那么服务器每周将为这些数据分配

【相似文献】

中国期刊全文数据库 前1条

1 赵婷婷;赵素云;裴斌;陈红;李翠平;;概率数据上基于规则的分类器[J];计算机科学与探索;2013年07期

，

本文编号：1191627