基于分布式内存云的查询系统

发布时间：2017-10-31 19:36

  本文关键词：基于分布式内存云的查询系统

  更多相关文章： 内存云 分布式系统 图查询语言 查询优化 关系型数据库

【摘要】：图（Graph）作为一种常见通用的数据结构，由于其丰富的数据表现能力，在越来越多的应用中被用来对数据进行抽象和建模。随着社交网络，语义Web等大型应用的兴起，，我们面临对来自大规模海量图数据的存储和查询的挑战，在存储方面，传统的基于磁盘或者分布式文件系统的解决方案并未充分考虑图的随机访问特性，因此在大规模数据集上的密集访问构成对系统IO性能的巨大威胁。在查询方面，传统的图查询算法往往只能满足在小规模数据集上的查询，当数据超过一定规模的时候，传统的算法无法完成真正意义上的实时查询。结合我们过去的工作，本文提出了一种基于分布式内存云Trinity的分布式内存图存储和建模方案，根据分布式内存云的特征，我们又设计实现了一套完整的查询方案，包括查询语言，查询执行，查询优化等多个方面的工作。考虑到在实际场景中的内存限制，我们另外提出了一种结合分布式内存云与RDBMS的混合存储方案，并对此进行了查询优化的重新设计。我们在现有的最大规模的数据集上进行了实验评估，结果表明我们的存储方案，优化方案和整体的系统性能都有非常出色的表现。
【关键词】：内存云 分布式系统 图查询语言 查询优化 关系型数据库
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要3-4
• ABSTRACT4-10
• 第一章 绪论10-16
• 1.1 研究背景和意义10-11
• 1.1.1 使用图数据结构进行数据建模的优势10-11
• 1.2 国内外研究现状11-13
• 1.2.1 存储方面的挑战11-13
• 1.2.2 查询方面的挑战13
• 1.3 论文内容13-16
• 第二章 数据建模和存储16-24
• 2.1 分布式内存云引擎——Trinity16
• 2.2 在 BLOB 上建模图顶点16-18
• 2.3 具体实现18-22
• 2.3.1 为每个成员生成访问器类18-19
• 2.3.2 支持动态容器19-20
• 2.3.3 支持嵌套类型20-22
• 2.4 本章小结22-24
• 第三章 查询语言24-30
• 3.1 语法25-27
• 3.2 本章小结27-30
• 第四章 查询执行引擎30-50
• 4.1 概况30-32
• 4.2 子图匹配处理32-42
• 4.2.1 gStep32-34
• 4.2.2 单个 gStep 的匹配34-39
• 4.2.3 整合不同的 gStep 匹配39-42
• 4.3 存储优化和查询优化42-48
• 4.4 本章小结48-50
• 第五章 代价模型50-58
• 5.1 SQL 查询的代价模型50-51
• 5.2 gStep 的代价模型51-54
• 5.3 生成执行方案54-56
• 5.4 本章小结56-58
• 第六章 实验58-66
• 6.1 存储建模方案的评估58-59
• 6.2 查询引擎的评估59-60
• 6.3 和纯关系型数据库的对比60-63
• 6.3.1 Warm Cache61-62
• 6.3.2 Cold Start62-63
• 6.4 查询优化评估63-64
• 6.5 本章小结64-66
• 第七章 结束语66-68
• 7.1 论文主要工作66
• 7.2 未来工作展望66-68
• 参考文献68-72
• 致谢72-73
• 攻读硕士学位期间已发表或录用的论文73-75

【共引文献】

中国期刊全文数据库 前10条

1 王文龙;李建中;;一种有效的在不确定图数据库中挖掘频繁子图模式的MUSIC算法[J];智能计算机与应用;2013年05期

2 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

3 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

4 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

5 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

6 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

7 刘喜文;郑昌兴;王文龙;汤刚强;;构建数据仓库过程中的数据清洗研究[J];图书与情报;2013年05期

8 杨震;徐敏捷;刘璋峰;秦达;姚晓辉;;语音大数据信息处理架构及关键技术研究[J];电信科学;2013年11期

9 潘善亮;茅琴娇;韩露;;一种基于虚拟社交化的Web服务发现方法研究[J];电信科学;2013年12期

10 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

中国重要会议论文全文数据库 前10条

1 刘谱;王晶;袁平鹏;吴步文;;大规模RDF数据库系统TripleBit[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

3 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

4 徐子伟;张陈斌;陈宗海;;大数据技术概述[A];系统仿真技术及其应用学术论文集（第15卷）[C];2014年

5 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

6 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

7 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

8 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

9 林凌雪;钟庆;;基于遗传算法的子图同构方法研究[A];中国电工技术学会学术年会——新能源发电技术论坛论文集[C];2013年

10 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

中国博士学位论文全文数据库 前10条

1 刘馨月;Web挖掘中的链接分析与话题检测研究[D];大连理工大学;2012年

2 马飞;云数据中心中虚拟机放置和实时迁移研究[D];北京交通大学;2013年

3 乐承毅;企业知识与员工知识贡献度集成评价方法及应用研究[D];浙江大学;2013年

4 孙甲申;基于主题模型和随机游走的标签技术研究[D];北京邮电大学;2013年

5 张鹏;数据中心网络的流量管理和优化问题研究[D];北京邮电大学;2013年

6 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

7 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

8 龚书;抽取式多文档文摘的文本表示研究[D];北京交通大学;2013年

9 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

10 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

中国硕士学位论文全文数据库 前10条

1 刘谱;高扩展的RDF数据存储系统研究[D];华中科技大学;2012年

2 朱敏;基于HBase的RDF数据存储与查询研究[D];南京大学;2013年

3 耿玉娇;MapReduce中基于抽样技术的倾斜问题研究[D];大连海事大学;2013年

4 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

5 王梓;林产品贸易信息用户兴趣模型及个性化搜索[D];北京林业大学;2013年

6 牛雷;分布式多媒体平台中视频搜索技术的研究与应用[D];北京邮电大学;2013年

7 林哲;面向行业的信息融合原型系统的研究与实现[D];北京邮电大学;2013年

8 万德稳;藏文搜索和搜索结果聚类研究及系统实现[D];西南交通大学;2013年

9 阎正喜;H基金公司网上交易系统安全问题研究[D];西南交通大学;2013年

10 颜志博;基于用户反馈的关系数据库关键词搜索技术研究[D];黑龙江大学;2012年

本文编号：1123489