面向Hadoop的云计算平台安全监测技术研究
发布时间：2021-06-06 21:42
云计算代表了IT领域向集约化、规模化与专业化道路发展的趋势，是IT领域正在发生的深刻变革。它极大的提高了各类资源的使用效率，但同时也对用户信息资产安全与隐私保护带来极大的冲击与挑战。Hadoop作为一种开源的基础云计算框架，在企业界得到了越来越广泛的关注，但是其对云计算平台的安全问题尚未得到有效解决。由此可知，Hadoop在安全机制方面的薄弱已成为阻碍其发展的主要问题之一。因此，Hadoop平台安全监测技术的研究，将在一定程度上，提高用户对Hadoop的信任，从而推动Hadoop的发展。本文在研究Hadoop安全问题的基础上，针对Hadoop集群数据安全及资源安全的不同特征，提出一种用户行为的数据访问异常检测技术及一种资源消耗的异常检测技术，实现对Hadoop集群的安全监测，从而提高Hadoop集群的安全性。本文的主要工作如下：首先，针对Hadoop HDFS的数据访问方式，提出一种基于隐马尔科夫模型的用户访问行为异常检测技术。不同于其他的基于关联分析的用户行为异常检测技术，该方法针对单个用户的微命令序列实施监测，避免了关联分析中数据挖掘过程和多特征的数据预处理过程，从而大大降低了时间...
【文章来源】：哈尔滨工程大学黑龙江省 211工程院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
HDFS结构图
HDFS 是一种主/从结构，主服务器由单个名字节点（Namenode）构成，类似中心，负责管理命名空间（Namespace）和文件访问；而从服务器由许多数据atanode）构成，负责存储文件基本单元。该命名空间允许用户数据以文件的形文件被分割成许多的块，存储在数据节点集群中，名字节点则完成文件系统命作，例如打开、关闭和重命名文件等，它决定了到数据节点的块映射。数据节节点的指挥下进行数据块的创建、删除和复制。HDFS 的结构如图 2.1 所示。HDFS 支持传统的层次型文件组织结构，用户对命名空间的操作，如创建、移和重命名目录或文件，都将被 Namenode 记录下来。.2 数据存取过程文件读取过程如图 2.2 所示：
图 2.3 文件写入过程首先，客户端通过调用 create()（过程 1）来创建文件，并向远程的 Namenode 请求，在文件系统的命名空间中创建一个新的文件（过程 2）。HDFS 返回一，让客户端开始写入数据，输出流控制一个 DFSoutPutstream，负责处理 Namatanode 之间的通信。在客户端写数据时（过程 3），DFSoutPutstream 将其分为一个个的包，写入内，称为数据队列。并向 Namenode 申请新的块，获取存储副本的 Datanode 列表anode 列表形成一个管线，将包以流的方式写入第一个 Datanode（过程 4），存再将其传递给下一个 Datanode（过程 4），直到最后一个 Datanode（过程 4）一个 Datanode 存储成功之后，返回一个确认包，并以管线的方式传递到客户包只有在管线中的所有节点确认之后才会被移出确认队列（过程 5）。如果在传输的过程中，某个 Datanode 出现故障，则此管线被关闭（过程 6），的 Datanode 会从管线中移除，剩余的块会继续在剩下的 Datanode 中以管线的，同时 Namenode 会分配一个新的 Datanode，保持副本的个数。
【参考文献】：
期刊论文
[1]基于相关性分析的时间序列异常检测方法[J]. 曹文平,熊启军,罗颖,赵永标. 信息系统工程. 2012(10)
[2]海量存储系统的性能管理与监测方法研究[J]. 李超,梁阿磊,管海兵,李小勇. 计算机应用与软件. 2012(07)
[3]基于Hadoop的云计算平台安全机制研究[J]. 马媛. 信息安全与通信保密. 2012(06)
[4]基于Shell命令和DTMC模型的用户行为异常检测新方法[J]. 肖喜,翟起滨,田新广,陈小娟. 计算机科学. 2011(11)
[5]时间序列序列模式的相似性研究[J]. 林珣,李志蜀,周勇. 计算机科学. 2011(09)
[6]一种基于滑动窗口的时间序列异常检测算法[J]. 裴丽鹊. 巢湖学院学报. 2011(03)
[7]基于趋势转折点的时间序列分段线性表示[J]. 廖俊,于雷,罗寰,穆中林. 计算机工程与应用. 2010(30)
[8]基于Hadoop的网络日志分析系统研究[J]. 胡光民,周亮,柯立新. 电脑知识与技术. 2010(22)
[9]时间序列异常检测[J]. 周大镯,刘月芬,马文秀. 计算机工程与应用. 2008(35)
[10]时间序列数据挖掘综述[J]. 贾澎涛,何华灿,刘丽,孙涛. 计算机应用研究. 2007(11)
博士论文
[1]时间序列的相似性查询与异常检测[D]. 肖辉.复旦大学 2005
硕士论文
[1]基于隐马尔可夫模型的视觉行为分析和异常检测研究[D]. 刘高文.南京理工大学 2008
[2]分布式集群性能监测研究[D]. 李博.吉林大学 2008
[3]序列模式挖掘及时间序列相似性搜索研究[D]. 刘俊侠.辽宁科技大学 2008
[4]基于隐半马尔可夫模型的入侵检测技术研究[D]. 彭竹苗.江南大学 2008
[5]基于时频分析的网络流量异常检测研究[D]. 张鹏.电子科技大学 2006
本文编号：3215193
【文章来源】：哈尔滨工程大学黑龙江省 211工程院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
HDFS结构图
HDFS 是一种主/从结构，主服务器由单个名字节点（Namenode）构成，类似中心，负责管理命名空间（Namespace）和文件访问；而从服务器由许多数据atanode）构成，负责存储文件基本单元。该命名空间允许用户数据以文件的形文件被分割成许多的块，存储在数据节点集群中，名字节点则完成文件系统命作，例如打开、关闭和重命名文件等，它决定了到数据节点的块映射。数据节节点的指挥下进行数据块的创建、删除和复制。HDFS 的结构如图 2.1 所示。HDFS 支持传统的层次型文件组织结构，用户对命名空间的操作，如创建、移和重命名目录或文件，都将被 Namenode 记录下来。.2 数据存取过程文件读取过程如图 2.2 所示：
图 2.3 文件写入过程首先，客户端通过调用 create()（过程 1）来创建文件，并向远程的 Namenode 请求，在文件系统的命名空间中创建一个新的文件（过程 2）。HDFS 返回一，让客户端开始写入数据，输出流控制一个 DFSoutPutstream，负责处理 Namatanode 之间的通信。在客户端写数据时（过程 3），DFSoutPutstream 将其分为一个个的包，写入内，称为数据队列。并向 Namenode 申请新的块，获取存储副本的 Datanode 列表anode 列表形成一个管线，将包以流的方式写入第一个 Datanode（过程 4），存再将其传递给下一个 Datanode（过程 4），直到最后一个 Datanode（过程 4）一个 Datanode 存储成功之后，返回一个确认包，并以管线的方式传递到客户包只有在管线中的所有节点确认之后才会被移出确认队列（过程 5）。如果在传输的过程中，某个 Datanode 出现故障，则此管线被关闭（过程 6），的 Datanode 会从管线中移除，剩余的块会继续在剩下的 Datanode 中以管线的，同时 Namenode 会分配一个新的 Datanode，保持副本的个数。
【参考文献】：
期刊论文
[1]基于相关性分析的时间序列异常检测方法[J]. 曹文平,熊启军,罗颖,赵永标. 信息系统工程. 2012(10)
[2]海量存储系统的性能管理与监测方法研究[J]. 李超,梁阿磊,管海兵,李小勇. 计算机应用与软件. 2012(07)
[3]基于Hadoop的云计算平台安全机制研究[J]. 马媛. 信息安全与通信保密. 2012(06)
[4]基于Shell命令和DTMC模型的用户行为异常检测新方法[J]. 肖喜,翟起滨,田新广,陈小娟. 计算机科学. 2011(11)
[5]时间序列序列模式的相似性研究[J]. 林珣,李志蜀,周勇. 计算机科学. 2011(09)
[6]一种基于滑动窗口的时间序列异常检测算法[J]. 裴丽鹊. 巢湖学院学报. 2011(03)
[7]基于趋势转折点的时间序列分段线性表示[J]. 廖俊,于雷,罗寰,穆中林. 计算机工程与应用. 2010(30)
[8]基于Hadoop的网络日志分析系统研究[J]. 胡光民,周亮,柯立新. 电脑知识与技术. 2010(22)
[9]时间序列异常检测[J]. 周大镯,刘月芬,马文秀. 计算机工程与应用. 2008(35)
[10]时间序列数据挖掘综述[J]. 贾澎涛,何华灿,刘丽,孙涛. 计算机应用研究. 2007(11)
博士论文
[1]时间序列的相似性查询与异常检测[D]. 肖辉.复旦大学 2005
硕士论文
[1]基于隐马尔可夫模型的视觉行为分析和异常检测研究[D]. 刘高文.南京理工大学 2008
[2]分布式集群性能监测研究[D]. 李博.吉林大学 2008
[3]序列模式挖掘及时间序列相似性搜索研究[D]. 刘俊侠.辽宁科技大学 2008
[4]基于隐半马尔可夫模型的入侵检测技术研究[D]. 彭竹苗.江南大学 2008
[5]基于时频分析的网络流量异常检测研究[D]. 张鹏.电子科技大学 2006
本文编号：3215193
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3215193.html
