基于haloop的虚拟化云数据中心研究与设计
发布时间：2020-12-22 11:05
针对传统数据中心ETL与联邦数据库技术在应对大数据处理时存在的不足,采用模块化和弹性设计,整合hive、hbase和impala等多种交互式数据引擎,构建基于haloop的虚拟化云数据平台,为各类数据应用请求方提供快速的数据访问服务.研究结果表明,虚拟化云数据中心集成方案数据处理能力强,具有良好的扩展性,能够实现对现有的各种应用及业务系统的集成和配置,从而为新一代数字校园提供了更加有效的支持.
【文章来源】：内蒙古师范大学学报(自然科学汉文版). 2016年03期 北大核心
【文章页数】：6 页
【部分图文】：
图２虚拟化云数据中心物理架构图Ｆｉｇ．２Ｔｈｅｐｈｙｓｉｃａｌｓｔｒｕｃｔｕｒｅｃｈａｒｔｏｆｔｈｅｖｉｒｔｕａｌｃｌｏｕｄｄａｔａｃｅｎｔｅｒ数查问据前据供高
内蒙古师范大学学报（自然科学汉文版）第４５卷数据整合度，数据中心的前台服务和后台数据部分可灵活更换，方案的应用场景在高校信息化建设中具有很强的普适性．在虚拟化集群下，对多数据引擎进行综合性能测试，以Ｉ／Ｏ的操作速度和平均响应时间这两个性能指标进行测试和对比，测试结果见图３和图４．图３吞吐量随并发连接数的变化情况Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ图４平均响应时间随并发连接数的变化情况Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小结本文在研究数据集成与云计算技术的基础上，提出了一种基于ｈａｌｏｏｐ的交互式多数据查询引擎集成方案，并利用虚拟化技术构建共享云数据中心．虚拟化云数据中心作为一种新的云数据集成解决方案，功能强大，性能稳定，支持大数据并行处理，具有良好的可扩展性，为大数据分析、实时查询及大数据分析提供了底层支持．今后还应着手进行架构的优化和前端云服务及应用的开发，以获得更高的运维效率和更好的用户体验．参考文献：［１］刘晓茜．云计算数据中心结构及其调度机制研究［Ｄ］．合肥：中国科学技术大学网络信息中心，２０１１（３）：１１－３９．［２］陈跃国，王京春．数据集成综述［Ｊ］．计算机科学，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ权威指南［Ｍ］．北京：清华大学出版社，２０１０：５１－５３．［４
内蒙古师范大学学报（自然科学汉文版）第４５卷数据整合度，数据中心的前台服务和后台数据部分可灵活更换，方案的应用场景在高校信息化建设中具有很强的普适性．在虚拟化集群下，对多数据引擎进行综合性能测试，以Ｉ／Ｏ的操作速度和平均响应时间这两个性能指标进行测试和对比，测试结果见图３和图４．图３吞吐量随并发连接数的变化情况Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ图４平均响应时间随并发连接数的变化情况Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小结本文在研究数据集成与云计算技术的基础上，提出了一种基于ｈａｌｏｏｐ的交互式多数据查询引擎集成方案，并利用虚拟化技术构建共享云数据中心．虚拟化云数据中心作为一种新的云数据集成解决方案，功能强大，性能稳定，支持大数据并行处理，具有良好的可扩展性，为大数据分析、实时查询及大数据分析提供了底层支持．今后还应着手进行架构的优化和前端云服务及应用的开发，以获得更高的运维效率和更好的用户体验．参考文献：［１］刘晓茜．云计算数据中心结构及其调度机制研究［Ｄ］．合肥：中国科学技术大学网络信息中心，２０１１（３）：１１－３９．［２］陈跃国，王京春．数据集成综述［Ｊ］．计算机科学，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ权威指南［Ｍ］．北京：清华大学出版社，２０１０：５１－５３．［４
【参考文献】：
期刊论文
[1]数据中心网络的研究进展与趋势[J]. 李丹,陈贵海,任丰原,蒋长林,徐明伟. 计算机学报. 2014(02)
[2]云数据管理系统中查询技术研究综述[J]. 史英杰,孟小峰. 计算机学报. 2013(02)
[3]云数据库研究[J]. 林子雨,赖永炫,林琛,谢怡,邹权. 软件学报. 2012(05)
[4]大数据分析——RDBMS与MapReduce的竞争与共生[J]. 覃雄派,王会举,杜小勇,王珊. 软件学报. 2012(01)
[5]一种基于T-ETL架构的多源异构数据集成方案[J]. 马将,杨学敏. 唐山学院学报. 2010(06)
[6]分布式过程实时数据集成方法及其实现[J]. 薛尧予,王建林,赵利强. 计算机工程. 2010(03)
[7]数据集成综述[J]. 陈跃国,王京春. 计算机科学. 2004(05)
博士论文
[1]云计算数据中心结构及其调度机制研究[D]. 刘晓茜.中国科学技术大学 2011
本文编号：2931648
【文章来源】：内蒙古师范大学学报(自然科学汉文版). 2016年03期 北大核心
【文章页数】：6 页
【部分图文】：
图２虚拟化云数据中心物理架构图Ｆｉｇ．２Ｔｈｅｐｈｙｓｉｃａｌｓｔｒｕｃｔｕｒｅｃｈａｒｔｏｆｔｈｅｖｉｒｔｕａｌｃｌｏｕｄｄａｔａｃｅｎｔｅｒ数查问据前据供高
内蒙古师范大学学报（自然科学汉文版）第４５卷数据整合度，数据中心的前台服务和后台数据部分可灵活更换，方案的应用场景在高校信息化建设中具有很强的普适性．在虚拟化集群下，对多数据引擎进行综合性能测试，以Ｉ／Ｏ的操作速度和平均响应时间这两个性能指标进行测试和对比，测试结果见图３和图４．图３吞吐量随并发连接数的变化情况Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ图４平均响应时间随并发连接数的变化情况Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小结本文在研究数据集成与云计算技术的基础上，提出了一种基于ｈａｌｏｏｐ的交互式多数据查询引擎集成方案，并利用虚拟化技术构建共享云数据中心．虚拟化云数据中心作为一种新的云数据集成解决方案，功能强大，性能稳定，支持大数据并行处理，具有良好的可扩展性，为大数据分析、实时查询及大数据分析提供了底层支持．今后还应着手进行架构的优化和前端云服务及应用的开发，以获得更高的运维效率和更好的用户体验．参考文献：［１］刘晓茜．云计算数据中心结构及其调度机制研究［Ｄ］．合肥：中国科学技术大学网络信息中心，２０１１（３）：１１－３９．［２］陈跃国，王京春．数据集成综述［Ｊ］．计算机科学，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ权威指南［Ｍ］．北京：清华大学出版社，２０１０：５１－５３．［４
内蒙古师范大学学报（自然科学汉文版）第４５卷数据整合度，数据中心的前台服务和后台数据部分可灵活更换，方案的应用场景在高校信息化建设中具有很强的普适性．在虚拟化集群下，对多数据引擎进行综合性能测试，以Ｉ／Ｏ的操作速度和平均响应时间这两个性能指标进行测试和对比，测试结果见图３和图４．图３吞吐量随并发连接数的变化情况Ｆｉｇ．３ｔｈｅｃｈａｎｇｅｏｆＴｈｒｏｕｇｈｐｕｔｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ图４平均响应时间随并发连接数的变化情况Ｆｉｇ．４Ｔｈｅｃｈａｎｇｅｏｆｔｈｅａｖｅｒａｇｅｒｅｓｐｏｎｓｅｔｉｍｅｗｉｔｈｔｈｅｎｕｍｂｅｒｏｆｃｏｎｃｕｒｒｅｎｔｃｏｎｎｅｃｔｉｏｎｓ４小结本文在研究数据集成与云计算技术的基础上，提出了一种基于ｈａｌｏｏｐ的交互式多数据查询引擎集成方案，并利用虚拟化技术构建共享云数据中心．虚拟化云数据中心作为一种新的云数据集成解决方案，功能强大，性能稳定，支持大数据并行处理，具有良好的可扩展性，为大数据分析、实时查询及大数据分析提供了底层支持．今后还应着手进行架构的优化和前端云服务及应用的开发，以获得更高的运维效率和更好的用户体验．参考文献：［１］刘晓茜．云计算数据中心结构及其调度机制研究［Ｄ］．合肥：中国科学技术大学网络信息中心，２０１１（３）：１１－３９．［２］陈跃国，王京春．数据集成综述［Ｊ］．计算机科学，２００４，３１（０５）：４８－４９．［３］ＴｏｍＷｈｉｔｅ．Ｈａｄｏｏｐ权威指南［Ｍ］．北京：清华大学出版社，２０１０：５１－５３．［４
【参考文献】：
期刊论文
[1]数据中心网络的研究进展与趋势[J]. 李丹,陈贵海,任丰原,蒋长林,徐明伟. 计算机学报. 2014(02)
[2]云数据管理系统中查询技术研究综述[J]. 史英杰,孟小峰. 计算机学报. 2013(02)
[3]云数据库研究[J]. 林子雨,赖永炫,林琛,谢怡,邹权. 软件学报. 2012(05)
[4]大数据分析——RDBMS与MapReduce的竞争与共生[J]. 覃雄派,王会举,杜小勇,王珊. 软件学报. 2012(01)
[5]一种基于T-ETL架构的多源异构数据集成方案[J]. 马将,杨学敏. 唐山学院学报. 2010(06)
[6]分布式过程实时数据集成方法及其实现[J]. 薛尧予,王建林,赵利强. 计算机工程. 2010(03)
[7]数据集成综述[J]. 陈跃国,王京春. 计算机科学. 2004(05)
博士论文
[1]云计算数据中心结构及其调度机制研究[D]. 刘晓茜.中国科学技术大学 2011
本文编号：2931648
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2931648.html
