基于Hadoop平台的高可用性云存储系统的设计与实现

发布时间：2017-06-10 01:09

  本文关键词：基于Hadoop平台的高可用性云存储系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：黑龙江省人力资源和社会保障厅从事社会保障和保险已经多年，依托工业和黑龙江省经济的发展，在信息化领域的建设上取得了很大的成就。现在黑龙江省人力资源和社会保障厅的社会保险业务的涵盖范围已经由原来的传统“五险”扩大到包含征地失地农民养老、农村养老、城镇居民养老和医疗、个体参保及老年居民补贴的全社会保险，服务对象则由原来的仅有地市级城市的企事业单位职工扩大到县乡级别的城乡居民；因此，现实对黑龙江省人力资源和社会保障厅的行政能力要求也在提高。信息化系统依靠设备更强大的性能提升工作人员的工作效率，随着信息化的不断深入，社会保险数据的积累总量也在迅速的增长。社会保险的数据是黑龙江省人力资源和社会保障厅的最重要的数据之一，，它的安全直接关系着人民的基本利益，社会的安定和谐以及社会保险业务的开展。因此，为了保证数据的安全，对于社保数据建立可靠的数据保护方案已经迫在眉睫。 本文通过对系统需求的全面分析和对技术实现可能性的评估，决定采用C/S体系进行系统的开发。系统使用的是java语言，采用Hadoop架构和swt编写其外壳，特别地，针对社保验证和管理系统的需要，引入了SQL解析器，既可以控制用户的使用，还可以简化进一步的开发成本。整体系统的开发是在Ubuntu Linux环境下使用Eclipse进行开发，本地服务器采取Jetty，数据库由本身实现。 本文的研究内容主要包括三个子系统：集群存储系统、管理员管理系统、用户服务系统。集群存储系统分为Namenode和Datanode两个模块,并且在此之上实现了高可用性的配置，对于主节点Namenode增加了一个备份节点即从Namenode,以增加容错功能。当发生单点故障时，采用Paxos算法，进行从主节点Namenoded到Datanode的切换。这样系统的容灾配置可以提供高可用性的数据存储并且有防范单点故障的功能；管理员管理系统可以运行在管理员的个人电脑上从而可以让管理员登录集群，配置、监控并管理集群的状态，对集群的数据进行读写或备份还原，对集群的节点进行调配，并且管理社保用户的状态。用户服务系统是云存储的系统和用户现存的系统的对接，可以为社保终端机用户提供鉴权和社保数据的读写功能。 通过对本课题的研究，已经实现了社保管理系统对存储系统的需求功能。目前系统已经完成功能测试和性能测试，并在公司进行了系统的功能测试以及和原有的金保系统的集成测试，符合预期的需求。系统现已投入到生产运行当中。
【关键词】：云存储 Hadoop 高可用性 Paxos算法 社保系统
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52;TP333
【目录】：

• 摘要4-5
• Abstract5-7
• 目录7-9
• 第1章 绪论9-15
• 1.1 课题背景及研究的目的和意义9
• 1.2 国内外研究现状分析9-14
• 1.2.1 国外的研究状况10-11
• 1.2.2 国内的研究状况11-13
• 1.2.3 社保数据与高可用性13-14
• 1.3 论文的主要研究内容14-15
• 第2章 云存储系统的系统需求分析15-26
• 2.1 系统的功能性需求16-23
• 2.1.1 集群存储系统模块需求分析18-21
• 2.1.2 管理员管理系统模块需求分析21-22
• 2.1.3 用户服务系统模块需求分析22-23
• 2.2 系统的非功能性需求23
• 2.3 关键技术分析23-25
• 2.4 本章小结25-26
• 第3章 云存储系统的总体设计26-37
• 3.1 云存储系统整体设计架构26-27
• 3.2 云存储系统的网络结构27-28
• 3.3 集群存储系统的逻辑和架构28-30
• 3.4 云存储系统的数据模型设计30-36
• 3.4.1 存储系统的数据模型设计30-34
• 3.4.2 管理员管理系统的数据模型设计34-35
• 3.4.3 用户服务系统的数据模型设计35-36
• 3.5 本章小结36-37
• 第4章 云存储系统的实现37-60
• 4.1 命令简介37
• 4.2 存储系统的实现37-51
• 4.2.1 Datanode 的设计与实现41-42
• 4.2.2 Namenode 的设计与实现42-46
• 4.2.3 容灾功能的设计与实现46-51
• 4.3 管理员管理系统的设计与实现51-57
• 4.3.1 用户管理模块的设计与实现52-54
• 4.3.2 管理员文件操作模块的设计与实现54-56
• 4.3.3 管理员节点管理模块的设计与实现56-57
• 4.4 用户服务模块的设计与实现57-59
• 4.5 本章小结59-60
• 第5章 云存储系统的测试60-70
• 5.1 测试方案60-61
• 5.1.1 测试目标60
• 5.1.2 测试范围60
• 5.1.3 测试环境60-61
• 5.2 系统功能测试61-65
• 5.2.1 存储功能模块功能测试61-62
• 5.2.2 容灾模块功能测试62
• 5.2.3 管理员管理系统功能测试62-63
• 5.2.4 用户服务系统功能测试63-65
• 5.3 系统性能测试65-68
• 5.3.1 测试环境65
• 5.3.2 测试工具65-66
• 5.3.3 测试方法66
• 5.3.4 测试结果66-68
• 5.4 测试结论68
• 5.5 本章小结68-70
• 结论70-72
• 参考文献72-77
• 致谢77-78
• 个人简历78

【参考文献】

中国期刊全文数据库 前10条

1 钱文静;邓仲华;;云计算与信息资源共享管理[J];图书与情报;2009年04期

2 郑文武;李先绪;黄执勤;;云计算中的并行计算技术分析[J];电信科学;2011年12期

3 张健;;云计算概念和影响力解析[J];电信网技术;2009年01期

4 林大云;;基于Hadoop的微博信息挖掘[J];计算机光盘软件与应用;2012年01期

5 王树鹏,云晓春,余翔湛,胡铭曾;容灾的理论与关键技术分析[J];计算机工程与应用;2004年28期

6 蔡皖东,何得勇,韩蕾,刘成光;一种网络容灾系统的设计与实现[J];计算机工程;2004年07期

7 刘迎风,祁明;容灾技术及其应用[J];计算机应用研究;2002年06期

8 孙香花;;云计算研究现状与发展趋势[J];计算机测量与控制;2011年05期

9 冯登国;张敏;张妍;徐震;;云计算安全研究[J];软件学报;2011年01期

10 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期

  本文关键词：基于Hadoop平台的高可用性云存储系统的设计与实现，由笔耕文化传播整理发布。

本文编号：437083