科学大数据云分析服务的性能优化技术研究

发布时间：2017-10-17 06:45

  本文关键词：科学大数据云分析服务的性能优化技术研究

  更多相关文章： 科学大数据 云分析服务 性能优化 块分割 Cost-based优化器

【摘要】：随着科学技术的发展,科学数据的爆炸式增长给其存储和分析带来了巨大的压力,如何高效的存储和分析科学数据成为一个巨大的难题。一方面,科学数据模型一般以数组为主,传统关系型数据库的数据模型是表结构,因此不能天然的支持数组模型,而是采用与分析型软件相结合的方式来进行科学分析。另一方面,采用RDBMS和分析软件相结合的方式会带来昂贵的成本;因此迫切需要一个能够有效存储和分析科学数据并能降低成本的系统。阵列数据库和云计算技术的兴起给科学大数据管理和分析需求带来了良机。阵列数据库以数组为一等公民,能天然支持科学数据的存储和分析;云计算采用先进的分布式计算及存储架构整合资源的方式向外提供资源服务,为用户降低了使用成本。因此,结合阵列数据库与云计算平台的优势为科学家和研究机构提供高性能科学大数据云分析服务,具有重要应用价值和现实意义。本文综合分析了当前多种阵列数据库和云平台架构,结合当前科学大数据管理系统的优缺点对科学大数据云分析处理系统进行了深入研究和性能优化。主要研究内容为:(1)构建了云平台Proxmox VE,为云分析服务提供了平台环境;(2)在云平台上设计并实现了科学大数据云分析服务原型系统FASTDB;(3)对FASTDB系统进行了两个角度的性能评估实验,为后续FASTDB的性能优化提供了基础;(4)提出了FASTDB系统的存储块分割算法CLD以及实现了简单的基于数组统计信息的Cost-based查询优化器,提高了科学大数据云分析服务系统FASTDB的查询分析性能。
【关键词】：科学大数据 云分析服务 性能优化 块分割 Cost-based优化器
【学位授予单位】：贵州大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP393.09
【目录】：

• 摘要4-5
• Abstract5-6
• 第一章 绪论6-11
• 1.1 研究背景与意义6-7
• 1.2 国内外研究现状7-9
• 1.3 研究内容及创新点9
• 1.4 论文组织结构9-11
• 第二章 科学大数据云分析处理技术11-25
• 2.1 科学数据分析处理11-12
• 2.2 阵列数据库12-17
• 2.2.1 SciDB13-15
• 2.2.2 Rasdaman15-16
• 2.2.3 MonetDB/SciQL16-17
• 2.3 云计算技术17-22
• 2.3.1 虚拟化技术17-19
• 2.3.2 多租户技术19-20
• 2.3.3 云平台构建技术20-22
• 2.4 科学大数据分析处理22-24
• 2.4.1 SkyServer23
• 2.4.2 Myria23-24
• 2.4.3 AscotDB24
• 2.5 本章小结24-25
• 第三章 科学大数据云分析服务系统FASTDB的设计与实现25-33
• 3.1 FASTDB产生的背景25-26
• 3.1.1 FASTDB的需求分析25
• 3.1.2 FASTDB的设计目标25-26
• 3.2 FASTDB的设计26-30
• 3.2.1 FASTDB的架构设计26-27
• 3.2.2 FASTDB的存储和分析子系统设计27-28
• 3.2.3 FASTDB的监控子系统设计28-29
• 3.2.4 FASTDB的数据处理子系统设计29-30
• 3.3 FASTDB的实现30-32
• 3.4 本章小结32-33
• 第四章 FASTDB中云分析服务的性能优化33-62
• 4.1 FASTDB的性能测试与分析33-46
• 4.1.1 集群环境与数据集33-34
• 4.1.2 科学分析任务34-38
• 4.1.3 FASTDB的Benchmark测试38-40
• 4.1.4 FASTDB与SkyServer的性能对比实验40-41
• 4.1.5 FASTDB与SkyServer的实验结果与性能分析41-46
• 4.2 FASTDB性能优化——存储块分割策略优化46-50
• 4.2.1 FASTDB的存储块分割策略47-48
• 4.2.2 FASTDB的存储块分割优化-CLD算法48-49
• 4.2.3 FASTDB优化后的性能测试与分析49-50
• 4.3 FASTDB性能优化——基于array statistics的CBO优化50-61
• 4.3.1 FASTDB的查询优化器51-52
• 4.3.2 基于array statistics的代价函数设计52-56
• 4.3.3 基于array statistic的CBO优化器实现56-59
• 4.3.4 FASTDB优化后的性能测试与分析59-61
• 4.4 本章小结61-62
• 第五章 总结与展望62-64
• 5.1 总结62
• 5.2 展望62-64
• 致谢64-65
• 参考文献65-68
• 附录68-69
• 图表目录69-70

【相似文献】

中国期刊全文数据库 前10条

1 丁燕云;魏娟;;浅析SQL数据库的性能优化问题[J];科技信息(学术研究);2007年34期

2 ;简单易用网络性能优化软件[J];网络与信息;1999年10期

3 袁山龙,吴洁明;证券网上集中交易系统性能优化的研究与应用[J];微计算机应用;2003年05期

4 张建华;王群华;;对系统性能优化的十点辨析[J];计算机系统应用;2007年05期

5 王勇;;基于SQL数据库的性能优化问题分析[J];电脑知识与技术;2008年15期

6 王保平;;性能优化的简单法则[J];程序员;2009年09期

7 李培慧;何宗键;;某人力资源管理系统中用户导入模块性能优化方案分析[J];科技信息;2010年35期

8 晓慧;;本本性能优化圣手[J];电脑知识与技术(经验技巧);2012年01期

9 王江伟;陈琛;;浅析软件性能优化[J];科技风;2012年08期

10 杨波;;系统性能优化问题研究[J];科技致富向导;2013年09期

中国重要会议论文全文数据库 前10条

1 姚杰;;宝钢不锈钢系统数据库性能优化方案[A];中国计量协会冶金分会2007年会论文集[C];2007年

2 代桂平;殷保群;奚宏生;周亚平;;受控M／G／1排队系统的性能优化[A];第二十二届中国控制会议论文集（下）[C];2003年

3 李彦;王屹;徐继明;;ERP系统的性能优化[A];全国炼钢连铸过程自动化技术交流会论文集[C];2006年

4 赵海波;杨昭;方筝;徐振军;;燃气压缩式热泵系统全年季节性能优化[A];中国制冷学会2007学术年会论文集[C];2007年

5 高明星;;DB2数据库应用性能优化问题浅谈[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年

6 奚宏生;唐昊;殷保群;周亚平;;Markov控制过程在紧致行动集上的性能优化[A];第二十一届中国控制会议论文集[C];2002年

7 高明星;;DB2数据库应用性能优化问题浅谈[A];铁道部信息技术中心成立30周年暨铁路运输管理信息系统（TMIS）工程全面竣工投产TMIS工程建设论文专辑（二）[C];2005年

8 高明星;;DB2数据库应用性能优化问题浅谈[A];中国铁道学会——2004年度学术活动优秀论文评奖论文集[C];2005年

9 杜劲松;李强;包劲松;;国产600MW机组循环效率试验及性能优化分析[A];2008中国可持续发展论坛论文集（3）[C];2008年

10 杜劲松;李强;包劲松;;国产600MW机组循环效率试验及性能优化分析[A];全国火电大机组（600MW级）竞赛第十二届年会论文集（上册）[C];2008年

中国重要报纸全文数据库 前4条

1 陈翔;性能优化只能救火[N];中国计算机报;2007年

2 本报记者 郭平;EMC简单高效实现私有云[N];计算机世界;2010年

3 ;安图特引入新型数据加速解决方案[N];人民邮电;2008年

4 陈洪康 郭宝群 李雪梅;浅谈VLDB性能优化与维护[N];人民邮电;2001年

中国博士学位论文全文数据库 前7条

1 陈伟锋;大规模复杂过程系统的高性能优化理论与方法研究[D];浙江大学;2011年

2 李磊;分布式系统中容错机制性能优化技术研究[D];国防科学技术大学;2007年

3 贾海鹏;面向GPU计算平台的若干并行优化关键技术研究[D];中国海洋大学;2012年

4 那俊;基于两阶段适应的ASBS性能持续优化方法研究[D];东北大学;2011年

5 魏丫丫;Web传输的性能优化[D];清华大学;2006年

6 何倩;P2P系统性能优化若干关键技术研究[D];北京邮电大学;2010年

7 毛宏燕;基于部分计值的服务性能优化研究[D];上海交通大学;2006年

中国硕士学位论文全文数据库 前10条

1 邹兴伟;防伪纤维荧光检测仪性能优化研究[D];西南科技大学;2015年

2 邱能俊;科学大数据云分析服务的性能优化技术研究[D];贵州大学;2015年

3 陈俊t，

本文编号：1047388