基于HBase的大数据存储优化设计与性能分析
发布时间：2021-11-09 23:09
HBase是大数据存储处理的重要工具,但由于HBase原生为java语言,使得第三方语言对其访问受到限制,因此解决异构系统高效访问HBase数据库是大数据主要解决的问题之一。本文针对异构系统存取HBase数据库的问题,研究Thrift存储机制,分析存储性能,改进数据存储结构,提高存储效率。并以空间在轨飞行器数据为存储对象,验证存储性能。本文主要内容如下:1.存储机制分析。HBase按字典序排列存储特性,会使系统出现存储热点问题,影响存储性能及集群负载均衡;由于HBase刷写特性,随着数据量增加,会使Region写操作阻塞,数据强制写入数据库,系统写效率受到影响;Thrift接口定义语言对HBase数据库按行存储,当数据量大时频繁进行数据请求操作,增加服务调用时间,影响系统通信性能。2.存储优化设计。针对以上问题,本文对大数据存储进行了优化设计。首先设计了rowkey值散列存储,实现负载均衡,避免热点问题;根据刷写值大小对写效率的影响,设置合适的系统刷写方案;最后设计了Thrift IDL通信模型,重新定义了数据传输结构,将多行数据绑定在一起,经过一次RPC调用完成多行数据按块存储;按照...
【文章来源】：中北大学山西省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
系统总体结构
图 2.2 Xen 虚拟化体系结构示意图ypervisor 虚拟机管理程序：此部分功能为底层任务的调度管理实Xen Hypervisor 为了给 domU 域提供简洁的设备访问模型实现了拟设备，同时还为各个 domU 域分配硬件资源。l Domain 控制域：也称为“Domain0”或者“dom0”，是一个具ux 虚拟机，驱动 XenServer 管理工具栈的运行，提供管理的功能够对物理设备访问，控制域将驱动程序堆栈运行。Domain0 和 X从而实现对 domU 域的管理。ement toolstack(管理工具栈)：运行在 Domain0 中，也称为 xapi，启动、关闭、删除等操作，实现虚拟机对硬件设备的访问管理nServer 的管理rver 有两种管理方法，分别为 XenCenter 和 XenServer 命令行基于 Windows 系统的图形化用户管理软件，XenCenter 允许从管理 XenServer 主机，同时也可设置共享存储。通过 XenCente
图 2.3 XenServer 管理实现encenter 是通过网络连接到其 Domain0 域，然后再r 虚拟机的管理，而 XenServer 则是通过登录到令行实现 XenServer 管理。界面操作简单，本文采用 XenCenter 来实现 XenS机，客户端运行 XenCenter 应用程序。Server 主机资源池若干台 XenServer 主机组成，这些主机捆绑在一起机池可包含最多 16 台安装相同版本 XenServer 的主所有服务器提供一个单一的连接点。主机资源池使
【参考文献】：
期刊论文
[1]基于内存的HBase二级索引设计[J]. 崔晨,郑林江,韩凤萍,何牧君. 计算机应用. 2018(06)
[2]基于Thrift的服务端数据推送机制设计[J]. 杨旸,汪正舟,吴腾. 网络新媒体技术. 2017(03)
[3]基于Netty框架的高性能RPC通信系统的设计与实现[J]. 张艳军,王剑,叶晓平,李培远. 工业控制计算机. 2016(05)
[4]HBase架构中RPC客户端的通信性能优化[J]. 胡波,谭良. 计算机科学. 2016(04)
[5]基于MapReduce和HBase的海量网络数据处理[J]. 景晗,郑建生,陈鲤文,许朝威. 科学技术与工程. 2015(34)
[6]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华. 计算机学报. 2016(01)
[7]基于Thrift的跨编程语言Flex应用框架研究[J]. 吴洲. 计算机与现代化. 2013(05)
[8]运用Citrix实现桌面虚拟化管理[J]. 韩晓山. 中国科技信息. 2012(22)
[9]基于HBase的矢量空间数据分布式存储研究[J]. 范建永,龙明,熊伟. 地理与地理信息科学. 2012(05)
[10]Java非阻塞通信研究[J]. 范宝德,马建生. 微计算机信息. 2006(36)
硕士论文
[1]HDFS文件系统的改进研究[D]. 周长俊.南京邮电大学 2018
[2]HDFS高可用性方案的优化与实现[D]. 胡文龙.南京邮电大学 2018
[3]基于HBase的高效数据存取平台的设计与实现[D]. 张祎.北京邮电大学 2018
[4]基于RPC的高并发网络通信中负载均衡的研究[D]. 马原.浙江理工大学 2017
[5]基于Thrift框架的网络设备审计系统的设计与实现[D]. 胡招武.北京邮电大学 2017
[6]HBase数据库的安全索引研究[D]. 王楠.华中科技大学 2016
[7]基于确定性虚拟内存模型的无阻塞通信的研究[D]. 张其良.中国科学技术大学 2016
[8]基于HBase的卫星空间数据查询系统设计与性能分析[D]. 马育.北京化工大学 2015
本文编号：3486079
【文章来源】：中北大学山西省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
系统总体结构
图 2.2 Xen 虚拟化体系结构示意图ypervisor 虚拟机管理程序：此部分功能为底层任务的调度管理实Xen Hypervisor 为了给 domU 域提供简洁的设备访问模型实现了拟设备，同时还为各个 domU 域分配硬件资源。l Domain 控制域：也称为“Domain0”或者“dom0”，是一个具ux 虚拟机，驱动 XenServer 管理工具栈的运行，提供管理的功能够对物理设备访问，控制域将驱动程序堆栈运行。Domain0 和 X从而实现对 domU 域的管理。ement toolstack(管理工具栈)：运行在 Domain0 中，也称为 xapi，启动、关闭、删除等操作，实现虚拟机对硬件设备的访问管理nServer 的管理rver 有两种管理方法，分别为 XenCenter 和 XenServer 命令行基于 Windows 系统的图形化用户管理软件，XenCenter 允许从管理 XenServer 主机，同时也可设置共享存储。通过 XenCente
图 2.3 XenServer 管理实现encenter 是通过网络连接到其 Domain0 域，然后再r 虚拟机的管理，而 XenServer 则是通过登录到令行实现 XenServer 管理。界面操作简单，本文采用 XenCenter 来实现 XenS机，客户端运行 XenCenter 应用程序。Server 主机资源池若干台 XenServer 主机组成，这些主机捆绑在一起机池可包含最多 16 台安装相同版本 XenServer 的主所有服务器提供一个单一的连接点。主机资源池使
【参考文献】：
期刊论文
[1]基于内存的HBase二级索引设计[J]. 崔晨,郑林江,韩凤萍,何牧君. 计算机应用. 2018(06)
[2]基于Thrift的服务端数据推送机制设计[J]. 杨旸,汪正舟,吴腾. 网络新媒体技术. 2017(03)
[3]基于Netty框架的高性能RPC通信系统的设计与实现[J]. 张艳军,王剑,叶晓平,李培远. 工业控制计算机. 2016(05)
[4]HBase架构中RPC客户端的通信性能优化[J]. 胡波,谭良. 计算机科学. 2016(04)
[5]基于MapReduce和HBase的海量网络数据处理[J]. 景晗,郑建生,陈鲤文,许朝威. 科学技术与工程. 2015(34)
[6]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华. 计算机学报. 2016(01)
[7]基于Thrift的跨编程语言Flex应用框架研究[J]. 吴洲. 计算机与现代化. 2013(05)
[8]运用Citrix实现桌面虚拟化管理[J]. 韩晓山. 中国科技信息. 2012(22)
[9]基于HBase的矢量空间数据分布式存储研究[J]. 范建永,龙明,熊伟. 地理与地理信息科学. 2012(05)
[10]Java非阻塞通信研究[J]. 范宝德,马建生. 微计算机信息. 2006(36)
硕士论文
[1]HDFS文件系统的改进研究[D]. 周长俊.南京邮电大学 2018
[2]HDFS高可用性方案的优化与实现[D]. 胡文龙.南京邮电大学 2018
[3]基于HBase的高效数据存取平台的设计与实现[D]. 张祎.北京邮电大学 2018
[4]基于RPC的高并发网络通信中负载均衡的研究[D]. 马原.浙江理工大学 2017
[5]基于Thrift框架的网络设备审计系统的设计与实现[D]. 胡招武.北京邮电大学 2017
[6]HBase数据库的安全索引研究[D]. 王楠.华中科技大学 2016
[7]基于确定性虚拟内存模型的无阻塞通信的研究[D]. 张其良.中国科学技术大学 2016
[8]基于HBase的卫星空间数据查询系统设计与性能分析[D]. 马育.北京化工大学 2015
本文编号：3486079
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3486079.html
