基线与增量数据分离架构下的分布式连接算法

发布时间：2017-12-24 10:30

  本文关键词：基线与增量数据分离架构下的分布式连接算法　出处：《计算机学报》2016年10期 　论文类型：期刊论文

  更多相关文章： 分布式连接 增量数据 并行处理 排序归并连接

【摘要】：在大数据背景下,数据库系统表连接操作的效率急需优化,尤其对于基线与增量数据分离的数据库系统来说,其连接操作更是成为其性能的主要瓶颈.为了有效提升事务处理的性能,在基线与增量数据分离的数据库系统架构中,通常将基线数据存储于磁盘中,增量数据存储于内存中,进而获得较高的事务处理吞吐量和可扩展性.Hbase、BigTable、OceanBase等系统是典型的基线与增量数据分离的数据库管理系统,但是他们的表连接效率较低,其主要原因包括:每次表连接前必须先合并基线数据和增量数据;数据存储模式更为复杂,导致过大的网络开销.该文提出了一种基线与增量数据分离架构下的排序归并连接优化算法.该算法对连接属性做范围切分,在多个节点上并行做排序归并连接.该算法无需在连接前合并基线数据和增量数据,进而实现对基线和增量数据并行处理,同时也避免了大量非连接结果集数据的基线与增量合并操作.并在开源的数据库OceanBase上实现了该算法,通过一系列实验证明,该算法可以极大提高OceanBase数据库的表连接处理性能.
【作者单位】： 华东师范大学数据科学与工程研究院 上海高可信计算重点实验室;
【基金】：国家自然科学基金重点项目(61332006)资助
【分类号】：TP311.13
【正文快照】： 1引言 随着大数据时代的到来,如何更好地管理和利用大数据已经成为普遍关注的话题.在2008年,《Nature》推出了Big Data专刊(1);2011年2月,《Science》也接着推出专刊:Dealing with Data(2).美国奥巴马政府在2012年提出了“大数据研究和发展倡议”,共投资了2亿美元,正式开始“

【相似文献】

相关期刊论文 前10条

1 邓爱华;;大数据时代来临 你准备好了吗?[J];科技潮;2012年09期

2 刘中宇;刘海良;;大数据时代高校云资源应用[J];现代教育技术;2013年07期

3 陶雪娇;胡晓峰;刘洋;;大数据研究综述[J];系统仿真学报;2013年S1期

4 ;大数据[J];财务与会计(理财版);2013年07期

5 孙志伟;;大数据时代中小企业的应对策略[J];未来与发展;2013年10期

6 宋慧欣;;大数据时代的自动化机遇[J];自动化博览;2013年10期

7 ;大数据的崛起:趋势、机遇与挑战[J];互联网周刊;2013年24期

8 谢然;;大数据引领智能交通 且行且珍惜[J];互联网周刊;2014年08期

9 严霄凤;张德馨;;大数据研究[J];计算机技术与发展;2013年04期

10 赵敬;;大数据在日本的发展及应用[J];声屏世界;2013年11期

相关会议论文 前3条

1 李田;郭利;冯鹏;;某型导弹单元设备自动检测系统软件设计[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

2 高世光;邓苏;王长缨;;关于ADO+引导数据种类的演变的研究[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

3 颜涯;邵佩英;;GIS与MIS系统集成技术在城市规划中的应用[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

相关重要报纸文章 前10条

1 中国科学技术发展战略研究院 许晔;大数据时代来袭 中国宜加紧布局[N];经济参考报;2013年

2 ;精简企业数据是时候了[N];计算机世界;2008年

3 抚苏;众望所归，大数据时代来临[N];电脑报;2013年

4 《网络世界》记者 于翔;大数据的价值实现之旅[N];网络世界;2013年

5 本报记者 霍娜;政府数据开放要掂量[N];中国计算机报;2014年

6 ;多元技术擎起数据应用新天空[N];网络世界;2008年

7 《网络世界》记者 高杨;大数据开启智能生活[N];网络世界;2013年

8 中国国防科技信息中心 陈豫 真溱 李法勇 曹宽增 汤珊红 童欣 曾铮 蔡超 马红妹 赵睿涛;大数据影响科技信息工作未来的大背景[N];中国航空报;2012年

9 Paul F. Uhlir Peter Schroder;开放科技数据助力全球科研[N];计算机世界;2006年

10 郭涛;数据迁移 保证医疗数据安全可用[N];中国计算机报;2003年

相关博士学位论文 前3条

1 张新;区域性防灾减灾信息服务体系研究[D];中国科学院研究生院（遥感应用研究所）;2006年

2 李智慧;基于可视化的三维放射治疗计算机模拟系统的研究[D];四川大学;2002年

3 袁培森;基于LSH的Web数据相似性查询研究[D];复旦大学;2011年

相关硕士学位论文 前10条

1 邓先明;基于西安市矿产资源规划关系数据库的数据质量控制研究[D];长安大学;2015年

2 宣冬琦;上海银行的客户关系管理系统设计与实现[D];电子科技大学;2015年

3 王文佳;基于普适环境的FP-growth算法研究[D];中国石油大学(华东);2014年

4 汪文祥;考古遗址发掘数据分析研究与应用[D];浙江大学;2016年

5 杨太萌;基于大数据的城市防汛决策支持系统研究[D];浙江大学;2016年

6 魏麟钧;大数据与侦查方法论之创新[D];江西财经大学;2015年

7 陆鹏;基于Neo4j的大数据组织检索研究与应用[D];东南大学;2015年

8 张凯;数据挖掘技术在医疗费用数据中的应用研究[D];北京邮电大学;2015年

9 霍美娜;基于Hadoop海量数据分析的反腐云计算设计与实现[D];山东大学;2015年

10 芦倩;基于ArcGIS Engine的水文生态数据管理系统设计与实现[D];北京林业大学;2011年

，

本文编号：1328027