基于Hadoop的SQL查询引擎性能研究

发布时间：2017-08-16 11:40

  本文关键词：基于Hadoop的SQL查询引擎性能研究

  更多相关文章： 大数据 SQL-on-Hadoop 数据仓库 Spark SQL Impala Hive

【摘要】：Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL-on-Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各有优势,其运算引擎主要包括三种:1传统的Map/Reduce引擎;2新兴的Spark引擎;3基于shared-nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala,并使用了一种类TPC-H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看,Impala和Spark SQL相对于传统的Hive都有较大的提高,其中Impala的部分查询比Hive快了10倍以上,并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比,并不存在各方面均最优的查询引擎,因此在构建基于Hadoop的数据仓库系统时,推荐采用Hive+Impala或者Hive+Spark SQL的混合架构.
【作者单位】： 武汉大学计算机学院;英特尔英特尔亚太研发中心;
【关键词】： 大数据 SQL-on-Hadoop 数据仓库 Spark SQL Impala Hive
【基金】：国家自然科学基金项目(61272112;61472287) 湖北省自然科学基金重点项目(2015CFA068)
【分类号】：TP311.13
【正文快照】： 随着数据量的急剧增长,传统的数据仓库应用已经难以满足联机分析处理(On-line AnalyticalProcessing,OLAP)对数据仓库提出的新需求,特别是大数据4V特性中,大规模(Volume)、高复杂度(Variety)两座大山让扩展性不足的传统数据仓库不堪重负,寻求新型的高可扩展性数据仓库成为了当

【相似文献】

中国期刊全文数据库 前10条

1 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

2 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

3 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

4 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

5 ;大数据不等于Hadoop[J];办公自动化;2014年06期

6 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

7 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

8 黄德才;陈欢;;Hadoop平台下海量数据排行榜过滤算法[J];计算机系统应用;2012年03期

9 周航;申秋慧;王迤冉;;基于Hadoop平台的任务调度方案分析[J];周口师范学院学报;2013年02期

10 陈吉荣;乐嘉锦;;基于Hadoop生态系统的大数据解决方案综述[J];计算机工程与科学;2013年10期

中国重要报纸全文数据库 前3条

1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年

2 乐天　编译;Hadoop：打开大数据之门的金钥匙[N];计算机世界;2012年

3 范范　编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年

中国硕士学位论文全文数据库 前10条

1 白亮;基于Hadoop的民航高价值旅客发现方法研究[D];中国民航大学;2015年

2 张丽云;基于Hadoop的企业知识管理系统的主要功能的研究与实现[D];东北师范大学;2014年

3 夏志刚;基于Hadoop的数字大棚云系统的设计和实现[D];大连理工大学;2014年

4 张兴平;基于Hadoop的微博用户情感分类研究与实现[D];西安电子科技大学;2014年

5 杨宁;基于Hadoop平台的广告检测系统研究与实现[D];复旦大学;2012年

6 丁青松;基于Hadoop平台的大数据增量处理技术的研究[D];东北大学;2014年

7 汤艳;基于Hadoop架构的移动终端云资源访问模式研究与应用[D];北京工业大学;2013年

8 丁鸿凯;基于Hadoop的交通视频异常事件检测系统的设计与实现[D];北京邮电大学;2015年

9 陆艺达;基于Hadoop分布式计算框架的垃圾短信群发检测系统[D];复旦大学;2013年

10 李金朋;基于Hadoop平台的重叠社区发现算法研究[D];吉林大学;2014年

，

本文编号：683108