改进的安全存储系统在Hadoop平台中的应用研究

发布时间：2017-07-28 18:23

  本文关键词：改进的安全存储系统在Hadoop平台中的应用研究

  更多相关文章： 信息安全 加密技术 监控系统 相似性 Hadoop

【摘要】：互联网的发展使得信息的采集和传播达到空前规模。Apache基金会开发的分布式文件系统Hadoop被广泛应用于存储和处理大数据信息。Hadoop技术的主要特点是扩展能力强、成本低和高效可靠。大数据中通常存在着很多敏感数据,需要得到保护,防止泄露。通过对Hadoop框架的研究,发现在Hadoop集群存储敏感数据时,集群不能起到良好的保护机制。当客户端上传敏感信息存储在云端时,存在着很多不安全的因素,存在信息泄露的风险。为了保证敏感数据的安全性,提出了一种基于Hadoop平台的改进的安全存储系统。在客户端发起上传数据操作时,有选择性的针对敏感数据进行加密。当客户端发起下载数据操作时,进行下载解密操作。以上操作针对客户端用户是透明的,使得用户可以方便安全地保存自己的敏感数据。加密方案是通过对称加密方法和非对称加密方法组成的混合加密方案,各组成部分之间使用数字信封来实现相关安全通信操作,在保证了安全性的前提下兼顾了加密解密的工作效率,保证了敏感信息的安全性。加密的同时通过数字签名和MD5算法加入了敏感信息完整度、密钥和信息时间戳等方面的校验机制,保证了敏感信息的时效性和完整性。从集群运行环境的设备安全性角度进行研究,可以发现Hadoop自身不存在个性化的监控机制。通过对Hadoop框架的研究,提出了一种安全有效的监控系统,可以通过管理员自定义监控Hadoop集群的特定指标。也可以自定义监控多个指标来反映集群的整体波动水平,首先采集集群的不同时刻多个指标参数的数据样本,然后计算不同时刻之间数据样本的相似性,数据样本的相似度越高,代表波动水平越小。同理,当样本之间的相似度较低时,代表波动水平较大。当某个指标参数超过管理员自定义的阈值或者多个指标的集合数值超过整体波动值阈值时,触发报警。
【关键词】：信息安全 加密技术 监控系统 相似性 Hadoop
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333;TP309
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-14
• 1.1 研究背景和意义8-9
• 1.2 研究内容9-11
• 1.3 论文结构11-14
• 第2章 系统相关技术研究与分析14-22
• 2.1 HADOOP项目及其组件14
• 2.2 文件存储系统简介14-16
• 2.3 相似性算法的研究16-18
• 2.3.1 欧氏距离相似性算法16-17
• 2.3.2 余弦相似性算法17-18
• 2.3.3 冷启动问题18
• 2.4 加密方法与解密方法18-20
• 2.4.1 DES算法分析18-20
• 2.4.2 非对称加密解密方法20
• 2.5 验证技术20-21
• 2.5.1 MD5算法20
• 2.5.2 数字签名20-21
• 2.6 本章小结21-22
• 第3章 基于Hadoop的安全存储系统22-38
• 3.1 目标和可行性研究22
• 3.2 需求分析22-24
• 3.2.1 功能性需求和非功能性需求23
• 3.2.2 系统用例图23-24
• 3.2.3 运行环境介绍24
• 3.3 存储系统总体架构24-27
• 3.3.1 存储系统功能模块24-25
• 3.3.2 存储系统通信模块25-27
• 3.4 存储系统详细设计27-37
• 3.4.1 上传模块27-32
• 3.4.2 下载模块32-37
• 3.5 本章小结37-38
• 第4章 基于Hadoop的数据监控模块38-50
• 4.1 目标和可行性研究38-39
• 4.2 需求分析39-40
• 4.2.1 功能性需求和非功能性需求39
• 4.2.2 系统用例图39-40
• 4.2.3 运行环境介绍40
• 4.3 总体架构40-42
• 4.3.1 通信模块40-41
• 4.3.2 功能模块41-42
• 4.4 详细设计42-49
• 4.4.1 监控数据源的获取42-44
• 4.4.2 监控指标的计算方法44-45
• 4.4.3 监控数据的展示45-46
• 4.4.4 监控模块的组成46-49
• 4.5 本章小结49-50
• 第5章 实验结果分析50-60
• 5.1 加密存储模块仿真实验50-55
• 5.1.1 环境部署50-51
• 5.1.2 保密性测试分析51-53
• 5.1.3 完整性测试分析53-54
• 5.1.4 效率测试分析54-55
• 5.2 监控模块仿真实验55-59
• 5.2.1 环境部署55
• 5.2.2 展示功能测试分析55-57
• 5.2.3 报警功能测试分析57-59
• 5.3 本章小结59-60
• 结论60-61
• 参考文献61-64
• 攻读硕士学位期间所取得的研究成果64-66
• 致谢66

，

本文编号：585411