大数据环境下数据查询优化技术应用研究

发布时间：2017-04-19 13:12

  本文关键词：大数据环境下数据查询优化技术应用研究，，由笔耕文化传播整理发布。

【摘要】：伴随着移动互联网的发展,移动终端的使用量也急剧的增加。大量的移动终端产生了海量的数据。这些数据体量大、种类繁多,既有非结构化数据又有结构化、半结构化数据。而且,这些数据组成的数据集的大小超出了现有典型数据库软件和工具的处理能力。本课题依托的应用由安卓App、微信公众平台以及web服务组成。应用将来会面向全国推广,会有大量的用户。由于未来可能用户量巨大,应用的安卓App将会产生海量的结构化数据,微信公众平台将会产生海量的非结构化数据。应用通过对这些数据进行查询分析,为用户提供更好的服务。因此如何有效的存储应用产生的结构化数据以及非结构化数据,并且使这些数据能够进行有效的查询分析是本课题研究的关键。在结构化数据方面,根据应用的特性,对各个数据库的特点分析后,选择MySQL数据库存储数据。根据应用数据量大的特点以及数据的结构和特性,对数据进行垂直切分和水平切分,并利用索引技术、并行处理技术对查询进行优化。此外,针对大数据量时多表分页查询缓慢的特点,本文提出一种新的多表分页查询算法,对应用多表分页查询进行了优化。在非结构化数据方面,通过对比各种NoSQL数据库的特点以及分析应用数据的特性选择MongoDB存储数据。本文首先研究MongoDB的各种分片策略,结合数据以及业务的特性,选择了合适的片键和分片策略。接着研究了普通索引和地理空间索引。然后,通过分析文档的结构,结合主键的特性建立合适的文档结构。最后,对分页查询语句进行了优化。本文通过以上研究和设计、实现,建立了合适的数据存储结构并对查询进行了优化,为课题应用移动终端数据的存储和查询提供了解决方案。最后,本文通过实验对以上工作进行了验证。
【关键词】：大数据 数据切分 索引 并行处理
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要3-4
• ABSTRACT4-9
• 第一章 绪论9-13
• 1.1 课题背景及研究意义9-10
• 1.1.1 课题背景9-10
• 1.1.2 研究意义10
• 1.2 大数据技术研究现状10-11
• 1.2.1 国外研究现状10
• 1.2.2 国内研究现状10-11
• 1.3 课题主要内容11
• 1.4 论文组织结构11-12
• 1.5 本章小结12-13
• 第二章 课题相关技术的研究13-21
• 2.1 大数据的特点分析13
• 2.2 大数据技术面临的问题13-14
• 2.3 结构化数据的查询技术14-18
• 2.3.1 数据切分技术14-16
• 2.3.2 多数据库并行处理技术16-17
• 2.3.3 索引技术17-18
• 2.4 非结构化数据的查询技术18-20
• 2.4.1 NoSQL数据库18-19
• 2.4.2 Hive分布式查询框架19-20
• 2.5 本章小结20-21
• 第三章 面向结构化数据的查询优化21-37
• 3.1 数据切分方案的设计与实现21-25
• 3.1.1 垂直切分21-22
• 3.1.2 水平切分22-24
• 3.1.3 总体结构24-25
• 3.2 数据存储引擎的研究25-26
• 3.2.1 存储引擎的定义25
• 3.2.2 存储引擎的分类及选型25-26
• 3.3 索引技术的研究与应用26-27
• 3.4 多数据库并行处理算法27-30
• 3.5 MySQL多表分页查询过程优化30-35
• 3.5.1 传统多表分页查询技术30-34
• 3.5.2 多表分页查询算法34-35
• 3.6 本章小结35-37
• 第四章 面向非结构化数据的查询优化37-45
• 4.1 MongoDB分片技术的研究37-38
• 4.2 MongoDB索引技术的研究与应用38-39
• 4.2.1 普通索引38
• 4.2.2 地理空间索引38-39
• 4.3 MongoDB文档结构的研究与优化39-43
• 4.3.1 文档的定义39-40
• 4.3.2 文档结构分析40
• 4.3.3 文档结构的优化40-43
• 4.4 MongoDB查询语句的优化43-44
• 4.4.1 查询结果集的优化43
• 4.4.2 分页查询语句优化43-44
• 4.5 本章小结44-45
• 第五章 实验测试与分析45-51
• 5.1 结构化数据查询优化相关测试45-47
• 5.1.1 多数据库并行处理算法45
• 5.1.2 多表分页查询算法45-47
• 5.2 非结构化数据查询相关测试47-50
• 5.2.1 文档结构优化48-49
• 5.2.2 分页查询语句优化49-50
• 5.3 本章小结50-51
• 第六章 总结与展望51-53
• 6.1 总结51
• 6.2 展望51-53
• 参考文献53-55
• 在学期间的研究成果55-56
• 致谢56

【相似文献】

中国期刊全文数据库 前10条

1 郭莹;;数据空间关键问题探究[J];软件导刊;2012年07期

2 厉剑;张绍雄;刘俊杰;李成柱;;大数据引发信息时代新变革[J];大众科技;2013年12期

3 李斌;;大数据及其发展趋势研究[J];广西教育;2013年35期

4 张晓军;孟祥武;;数字化周期[J];计算机科学;2002年05期

5 崔晨;吴扬扬;;基于活动的数据空间数据关系发现[J];微型机与应用;2011年11期

6 贾云得;;微型数字存贮遥测装置数据预存贮方法[J];遥测遥控;1989年06期

7 靳小龙;王元卓;程学旗;;大数据的研究体系与现状[J];信息通信技术;2013年06期

8 朝乐门;;数据空间及其信息资源管理视角研究[J];情报理论与实践;2013年11期

9 黄一凡;;合并分区 数据无损有妙招[J];电脑爱好者;2011年23期

10 葛敬军;胡长军;刘歆;李扬;刘震宇;;面向领域科学数据的虚拟数据空间共享模型[J];小型微型计算机系统;2014年03期

中国重要会议论文全文数据库 前5条

1 李鸿奎;陈洪艳;;大连市房地产基础地理信息系统的设计和建设[A];中国地理信息系统协会第九届年会论文集[C];2005年

2 董彦磊;申德荣;寇月;聂铁铮;;数据空间中数据组织模型以及关联关系发现模型的研究[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

3 庞怡;许洪光;张志敏;;针对海量科技信息的存储研究[A];信息时代——科技情报研究学术论文集（第三辑）[C];2008年

4 季承;;Oracle利用HWM高水标记收缩数据空间方案[A];2013电力行业信息化年会论文集[C];2013年

5 季承;;Oracle利用HWM高水标记收缩数据空间方案[A];2013电力行业信息化年会论文集[C];2013年

中国重要报纸全文数据库 前6条

1 牛泽亚;用户如何在数据空间里“被遗忘”？[N];人民邮电;2014年

2 风格;指引大数据未来发展方向的九大真理[N];中华读书报;2013年

3 录音整理 本报记者 刘文强 杨丰源;创新驱动，奋力奔向大数据时代[N];贵阳日报;2014年

4 中国人民大学信息学院 李玉坤;云计算与数据空间[N];中国计算机报;2008年

5 整理 本报记者 苏丹丹;把握大数据机遇 推动文化产业跨越发展[N];中国文化报;2013年

6 安徽国税局 赵为民;税务综合数据平台的设想[N];计算机世界;2007年

中国博士学位论文全文数据库 前10条

1 李晓娜;面向SaaS应用的多租户数据放置机制研究[D];山东大学;2015年

2 张德兵;基于机器学习的数据补全、标注和检索若干问题研究[D];浙江大学;2015年

3 刘思彤;空间文本数据的查询处理技术研究[D];清华大学;2015年

4 侯振隆;重力全张量梯度数据的并行反演算法研究及应用[D];吉林大学;2016年

5 姜朔;数据空间中数据集成若干关键问题研究[D];东华大学;2014年

6 陈鹏;面向情景感知计算的时空数据管理、查询、分析与相关算法研究[D];华东师范大学;2013年

7 杨丹;数据空间中基于语义的实体搜索关键技术研究[D];东北大学;2012年

8 王晓蕊;华北克拉通地球化学科学数据的管理及应用研究[D];中国地质大学;2008年

9 张晓东;数字河口平台建设关键技术研究[D];中国海洋大学;2009年

10 汪陈应;XML数据编码与存储管理关键技术研究[D];南开大学;2010年

中国硕士学位论文全文数据库 前10条

1 权西瑞;云环境下数据版权保护方法的研究[D];西安建筑科技大学;2015年

2 向兵;中药颗粒调剂设备中辅助硬件及自动封口机的设计[D];东北师范大学;2015年

3 朱跃龙;公安情报自动分类系统的设计与实现[D];电子科技大学;2015年

4 张鹏远;大数据分类存储及检索方法研究[D];西安电子科技大学;2014年

5 王梦佳;DOA下数据注册方法的初步研究与实现[D];成都理工大学;2015年

6 陈启伟;电机状态云监测系统研究与实现[D];浙江大学;2016年

7 王照清;大数据环境下数据查询优化技术应用研究[D];北方工业大学;2016年

8 崔晨;基于活动的数据空间的数据关系发现和数据重要性评价[D];华侨大学;2011年

9 童蓉;基于GIS的社区公共卫生信息平台应用研究[D];上海交通大学;2010年

10 刘莉;数据空间数据的相关性研究[D];华侨大学;2013年

  本文关键词：大数据环境下数据查询优化技术应用研究，由笔耕文化传播整理发布。

本文编号：316365