增量存储系统中的高通量并行处理

发布时间：2017-12-06 18:38

  本文关键词：增量存储系统中的高通量并行处理

  更多相关文章： 增量式数据存储 高通量并行数据处理 内存数据索引 混合任务流 时间连续性查询

【摘要】：随着互联网技术的不断发展,许多应用场景中数据产生的速度和规模都日益上升,以实时股票交易系统为例,每秒钟都有数以千计的交易记录产生,并向数据处理系统寻求高效存储支持；同时,为尽早地检测并处理潜在的交易风险,需要对这些数据进行实时高效的分析,这也对数据处理系统的分析性能提出了更高的要求。除此之外,硬件制造工艺的不断进步从根本上改变了计算机体系架构,近年来,配备多核多处理器、大量内存的服务器价格不断下降,基于NUMA的内存访问机制也广泛地应用于主流服务器中。为了应对实际应用中日益增长的数据存储及处理需求,结合近年来硬件发展趋势,以MonetDB、SAP HANA为例,各类基于内存的数据处理系统层出不穷,使高效内存数据处理迅速成为学术界和工业界的研究热点。尽管已有的大量研究工作都致力于提升集中式内存数据处理系统的性能,但是由于集中式环境受限于计算机有限的处理器数目及内存容量,无法满足日益增长的海量数据分析需求。相较于集中式内存数据处理系统,分布式内存数据处理系统架构于多台机器组成的分布式环境中,享有丰富的计算资源及内存空间,无疑更易于满足日益增长的数据分析需求。然而以分布式内存数据库为例,在分布式环境下想要进行实时分析必须严格遵循分布式事务约束,严重制约数据分析的性能。本文分析实际应用中的数据产生模式,专注于研究基于增量式数据存储系统的高通量分布式数据处理技术,旨在通过充分利用分布式集群中的各种资源,设计高通量并行数据处理引擎,以提高分布式数据处理系统对于混合工作流任务的处理性能。本文的主要工作及贡献概括如下：1.在增量式存储模型下,针对混合工作流任务(实时数据导入、实时时间连续性查询分析)设计提出一种高通量并行数据处理引擎,将分布式并发控制分解为受影响的节点内部集中式并发控制,降低分布式事务的处理难度；2.提出新型的分布式内存数据索引结构ECSB-Trees,用分布式树簇代替传统的集中式树型索引,通过提高索引结构缓存敏感性、合理组织其内部索引键值结点结构、对索引键值进行压缩、充分利用计算机硬件架构特性等手段提升索引结构的整体性能,增加引擎数据处理吞吐量；3.针对混合工作流任务,引擎通过对底层数据索引结构的多版本控制以及copy-on-write式更新,在索引层上实现轻量级并发控制,从而替代了复杂的分布式事务；提出维护不同版本的索引结构的方式来保障时间连续性查询结果集的正确性及完备性,并进行冲突可序列化分析,最大化降低混合工作流任务产生冲突的概率,提高其处理效率；4.规范化高通量并行数据处理引擎顶层提供的任务接收接口,使其与标准SQL92规范的SQL解析器实现对接,从而使该处理引擎能够方便地与现有的分布式数据库系统对接,通过数据库中已有的SQL解析器处理用户的输入请求,并将解析结果发送给本引擎实现高性能处理；在本文中我们将引擎与分布式内存计算原型系统(CLAIMS)集成,作为其数据导入及时间连续性查询处理模块。
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP333

【相似文献】

中国期刊全文数据库 前10条

1 章德斌;曹丽君;梁永欣;张忠平;;支持k近邻查询的X*树索引结构[J];计算机工程与应用;2011年05期

2 陈潇;;SQL Server中索引的建立与分析[J];科技信息;2012年36期

3 汪卫,谢闽峰,陶春,施伯乐;集合索引结构及其联接操作[J];软件学报;2004年11期

4 唐继勇;白新跃;杨峰;何建;;基于DPB~+-Tree的索引复制策略研究[J];计算机科学;2005年11期

5 江崇礼,刘天建,董明;一种新的空间数据库索引结构[J];大连理工大学学报;2004年05期

6 陈海永;刘良旭;;一种基于公路网络的高效更新索引结构[J];杭州电子科技大学学报;2008年03期

7 庄毅;庄越挺;吴飞;;一种支持海量跨媒体检索的集成索引结构[J];软件学报;2008年10期

8 刘润涛;郝忠孝;;一种极小化交叠空间数据索引结构[J];哈尔滨工程大学学报;2009年08期

9 周学海,李曦,龚育昌,赵振西,徐海燕;多维向量动态索引结构研究[J];软件学报;2002年04期

10 曹苏华;Informix-Online中的索引策略[J];中国金融电脑;2002年01期

中国重要会议论文全文数据库 前10条

1 汪卫;王勇;王宇君;施伯乐;;一维动态区间索引结构[A];数据库研究进展97——第十四届全国数据库学术会议论文集（上）[C];1997年

2 曹奎;冯玉才;袁芳;;一种支持基于内容的图像检索的多维索引结构[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

3 刘显敏;李建中;王宏志;刘雨洋;骆吉洲;;SAJ:以最小化空间代价为目标的F&B索引构建算法[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

4 肖伟器;冯玉才;;数据库索引结构的测试技术[A];第十一届全国数据库学术会议论文集[C];1993年

5 谢闽峰;汪卫;施伯乐;;集合索引结构及其联接操作[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

6 张s，

本文编号：1259602