指纹支付系统中海量指纹数据云存储平台的优化设计与实现

发布时间：2017-10-26 13:43

  本文关键词：指纹支付系统中海量指纹数据云存储平台的优化设计与实现

  更多相关文章： 云存储平台 HDFS 海量小文件 负载均衡算法

【摘要】：近年来随着电子商务的飞速发展网上的交易量日渐增大,这就对网上交易的安全性提出了更高的要求。有些学者提出采用指纹识别技术来提高网上交易的安全性。相比较于传统的由字母数字组成的密码,指纹识别更加便捷且不容易被破解。相对于传统的密码方式,指纹识别带来高安全性的同时也带来了高复杂性。系统需要存储的数据量变大,并且对读写数据的效率有了更高的要求。这时传统的关系型数据库已经无法满足我们的需要,因此本文采用云存储平台来存储指纹支付系统中海量指纹数据。本文选择HDFS作为云存储平台的基础架构,但用于指纹支付系统中海量指纹数据存储时还存在一些问题。一方面HDFS在设计之初是用来处理大量大文件的,用于海量指纹数据小文件时就会出现NameNode内存不足,查询效率过低等问题。另一方面HDFS中负载均衡算法只片面的针对各数据节点的磁盘空间使用率进行负载均衡,并没有全面的考虑数据节点状态,不能使集群更健康的运行。针对以上两个方面的问题,本文着重研究了HDFS存储海量指纹数据小文件时的优化方案以及多角度动态负载均衡算法,所以要做的主要工作为以下几个方面：(1)对指纹支付系统中云存储平台进行了需求分析,并根据需求分析提出了设计目标。(2)设计实现了上层管理客户端。首先进行模块设计,然后通过HTML语言完成Web客户端的实现。(3)针对需要存储的数据特点,我们对HDFS进行了一定的优化。在数据上传到HDFS之前先要传送到小文件判别合并器中；小文件按照地域信息进行合并；元数据分布式存储到各个数据节点；针对热点小文件设定相应的缓存策略。(4)对HDFS中负载均衡算法进行优化,提出了多角度动态负载均衡算法。判断一个数据节点的负载状态,不仅仅考虑其磁盘内存空间使用率,还要考虑其存储文件被读取的频繁程度以及不同数据节点的不同配置,综合几个角度动态得出threshold(阈值)。并且提出负载均衡需要选择正确的时间,在集群负载整体过重时选择暂不进行负载均衡以免加重集群负担。通过实验证明,以上工作确实提高了云存储平台用于存放海量指纹数据时的性能,并且使集群的负载均衡更加的全面。本文的研究工作对于指纹支付系统中云存储平台的构建具有积极的意义。
【关键词】：云存储平台 HDFS 海量小文件 负载均衡算法
【学位授予单位】：浙江师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要3-5
• ABSTRACT5-9
• 第1章 绪论9-17
• 1.1 研究背景9-10
• 1.2 研究现状10-13
• 1.2.1 云计算研究现状10-11
• 1.2.2 云存储研究现状11-12
• 1.2.3 指纹识别系统中数据存储模块现状分析12-13
• 1.3 本文要解决的问题13-14
• 1.3.1 针对指纹支付系统需求进行Hadoop云存储平台上层模块设计13
• 1.3.2 设计出的云平台针对小文件进行性能优化13-14
• 1.3.3 对云存储平台中的负载均衡算法进行优化14
• 1.4 论文研究意义和内容14-15
• 1.5 论文组织结构15-16
• 1.6 本章小结16-17
• 第2章 基于Hadoop的海量指纹数据云存储平台上层设计17-26
• 2.1 云存储概念17
• 2.2 Hadoop工作原理17-22
• 2.2.1 分布式文件系统HDFS18-21
• 2.2.2 分布式计算方法MapReduce21-22
• 2.3 需求分析22-23
• 2.3.1 指纹支付系统中海量指纹数据存储平台的具体要求22-23
• 2.3.2 存储平台设计目标23
• 2.4 存储平台上层模块设计23-24
• 2.5 本章小结24-26
• 第3章 针对海量指纹数据小文件进行针对性优化26-40
• 3.1 传统HDFS存储小文件存在的问题26-27
• 3.2 现有的解决HDFS下小文件存储效率问题方法27-28
• 3.2.1 HAR(Hadoop archive)技术27-28
• 3.2.2 SequenceFile序列化文件技术28
• 3.3 针对海量指纹数据小文件优化方案设计28-36
• 3.3.1 小文件合并29-31
• 3.3.2 元数据存储31-32
• 3.3.3 缓存策略32-33
• 3.3.4 存储与查询流程33-34
• 3.3.5 查询性能优化的理论证明34-36
• 3.4 针对小文件优化方案实验设计以及结果分析36-39
• 3.4.1 实验环境36
• 3.4.2 实验数据集36
• 3.4.3 实验方案设计以及结果分析36-39
• 3.5 本章小结39-40
• 第4章 云存储系统中负载均衡算法优化40-54
• 4.1 HDFS中的负载均衡40-41
• 4.2 HDFS中的负载均衡算法存在的问题41-42
• 4.3 多角度负载均衡算法42-50
• 4.3.1 数据节点硬盘使用率参数42-43
• 4.3.2 数据节点网络数据流量参数43-44
• 4.3.3 数据节点内存使用率参数44-45
• 4.3.4 集群繁忙程度评价参数45
• 4.3.5 多角度负载均衡的阈值(threshold)计算45-47
• 4.3.6 负载均衡数据转移策略设置47-50
• 4.4 多角度负载均衡算法优化方案的实验设计以及结果分析50-53
• 4.4.1 实验环境50
• 4.4.2 实验数据集50-51
• 4.4.3 实验方案设计51
• 4.4.4 实验结果以及结果分析51-53
• 4.5 本章小结53-54
• 第5章 总结与展望54-56
• 参考文献56-58
• 攻读硕士学位期间主要的研究成果58-59
• 致谢59-61
• 浙江师范大学学位论文诚信承诺书61

【参考文献】

中国期刊全文数据库 前4条

1 武娟;黄海;钱锋;李拥军;寿质彬;;基于多变量动态算法的Hadoop负载均衡优化与实现[J];电信科学;2012年12期

2 杨莉;;基于云计算环境下的数据存储技术分析[J];硅谷;2014年07期

3 刘琨;钮文良;;一种改进的Hadoop数据负载均衡算法[J];河南理工大学学报(自然科学版);2013年03期

4 熊江;;分布式计算模式的演变与发展[J];重庆三峡学院学报;2007年03期

中国硕士学位论文全文数据库 前2条

1 葛新;基于云计算集群扩展中的调度问题研究[D];中国科学技术大学;2011年

2 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年

，

本文编号：1098895