基于Spark的云平台管控追责系统的设计与实现
发布时间：2021-03-21 11:54
随着云计算的高速发展,云计算的应用已深入到社会生活的方方面面,但云平台中的数据安全问题也随之而来,并成为当前云计算继续发展的阻碍。国内外学者已针对云安全现状及安全策略做了大量的研究,但多数是利用加密等技术对云平台中的静态数据进行事前防御,以及数据污染后采用灾备措施进行恢复,关于事后责任定位方面的研究比较少。事后追责可以帮助云平台定位责任人,进而可以针对该责任人执行权限限制等控制措施,这对于云平台安全稳定运维和发展具有重要意义。针对这一需求,本文设计并实现了基于Spark的云平台管控追责系统。本课题目的在于实现一个针对云平台数据污染的可信管控追责系统,通过对当前相关技术的研究分析,明确了系统将要实现的功能,提出了通过为请求数据分配安全标记,并根据安全标记实现对该请求执行敏感性判断及污染操作的责任定位功能,并最终生成追责证据链展示到Web端。同时对Spark大数据处理框架及其他相关优秀技术进行了深入学习,以完成了对本系统的设计与实现。在课题的研究与实现过程中,作者所做的主要工作如下:1.通过对当前云平台安全的研究现状分析及相关安全技术的学习,本文阐述了基于Spark的云平台追责管控系统的研...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－１?Ｓｐａｒｋ运行架构图??
图２－２?ＳｐｒｉｎｇＭＶＣ工作流程??
Ｆｌｕｍｅ?目前提供?ＯＧ?（ｏｒｉｇｉｎａｌｇｅｎｅｒａｔｉｏｎ）和?ＮＧ?（ｎｅｘｔ?ｇｅｎｅｒａｔｉｏｎ）两个版本，??ＮＧ是在０Ｇ基础上重构形成的代码简单、架构简洁的更具适应性的版本其??架构如图２－３所示。??Ｉ??Ｉ??Ｐｕｔ事务｜?Ｔａｋｅ事务???１????Ｉ???拦选?｜??截择?｜?—＾??器器?Ｉ?ＷＦＳ??Ａｇｅｎｔ?????Ｉ??Ｉ??图２－３?Ｆｌｕｍｅ－ＮＧ架构图??如图２．３所示，Ａｇｅｎｔ是Ｆｌｕｍｅ中最小的独立执行单位，一个Ａｇｅｎｔ由Ｓｏｕｒｃｅ、??Ｃｈａｎｎｅｌ、Ｓｉｎｋ三部分组成。Ｓｏｕｒｃｅ负责对原始数据的采集；Ｃｈａｎｎｅｌ则为数据提??供临时缓存通道，缓解压力，确保数据的可靠传输；Ｓｉｎｋ负责数据的输出，指定??数据的下沉类型及位置。数据在Ｃｈａｎｎｅｌ中以Ｅｖｅｎｔ的形式保存，Ｅｖｅｎｔ是Ｈｕｍｅ??内部数据传输的基本单元，一条数据加一个可选头部Ｈｅａｄｅｒ信息构成一个Ｅｖｅｎｔ，??可选头部存储时间等数据相关的信息，头部信息可被Ｆｌｕｍｅ配置文件直接获取，??也可有开发者编辑，以便针对每条Ｅｖｅｎｔ做预处理。三种组件可以灵活配置应对??开发者系统的数据采集与简单预处理，本课题将通过Ｆｌｕｍｅ实现管控数据的实??时采集并存储到ＨＤＦＳ中以供后续管控及追责
【参考文献】：
期刊论文
[1]基于Flume和HDFS的大数据采集系统的研究与实现[J]. 方中纯,赵江鹏. 内蒙古科技大学学报. 2018(03)
[2]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[3]基于全同态MAC的消息认证算法设计[J]. 潘钊,张跃军,丁代鲁. 电子技术应用. 2018(01)
[4]基于Spark平台的聚类算法的研究和实现[J]. 胡可,姜学军. 电子世界. 2017(23)
[5]基于SSM框架的客户管理系统设计与实现[J]. 刘昊,李民. 软件导刊. 2017(07)
[6]Spark 2.0平台在大数据处理中的应用研究[J]. 周显春,肖衡. 软件导刊. 2017(05)
[7]Spark DAG优化MapReduce协同过滤算法[J]. 廖彬,张陶,于炯,国冰磊,张旭光,刘炎. 中山大学学报(自然科学版). 2017(03)
[8]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[9]Spark的图计算框架:GraphX[J]. 孙海. 现代计算机(专业版). 2017(09)
[10]一种基于安全标记的多租户访问控制方法[J]. 彭勇,侯超平,童遥,申光. 中兴通讯技术. 2017(01)
博士论文
[1]云计算平台下数据安全与版权保护技术研究[D]. 黄勤龙.北京邮电大学 2014
[2]信息系统等级保护中的多级安全技术研究[D]. 高朝勤.北京工业大学 2012
硕士论文
[1]基于Redis技术的分布式缓存电商平台设计与实现[D]. 欧阳文臣.南昌大学 2018
[2]云数据安全标记的研究[D]. 杨小宁.北京交通大学 2018
[3]云平台环境下实时日志管理系统的研究与实现[D]. 蔡金钻.电子科技大学 2018
[4]基于MVC的P2P网络借贷系统的设计与实现[D]. 张翔.北京交通大学 2017
[5]基于Spark的Web日志分析处理系统[D]. 董剑.西安理工大学 2016
[6]基于Web应用的日志采集与分析系统的设计与实现[D]. 于静.北京交通大学 2016
[7]基于HDFS的文件存储与读取的优化策略研究与应用[D]. 张程.北京工业大学 2016
[8]基于SpringMVC和MyBatis框架的炒股比赛系统的设计与实现[D]. 吴婉楠.南京大学 2016
[9]云存储中数据完整性验证及去重技术研究[D]. 李志科.广东工业大学 2015
[10]云计算环境下虚拟机逃逸问题研究[D]. 刘宏.上海大学 2015
本文编号：3092819
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－１?Ｓｐａｒｋ运行架构图??
图２－２?ＳｐｒｉｎｇＭＶＣ工作流程??
Ｆｌｕｍｅ?目前提供?ＯＧ?（ｏｒｉｇｉｎａｌｇｅｎｅｒａｔｉｏｎ）和?ＮＧ?（ｎｅｘｔ?ｇｅｎｅｒａｔｉｏｎ）两个版本，??ＮＧ是在０Ｇ基础上重构形成的代码简单、架构简洁的更具适应性的版本其??架构如图２－３所示。??Ｉ??Ｉ??Ｐｕｔ事务｜?Ｔａｋｅ事务???１????Ｉ???拦选?｜??截择?｜?—＾??器器?Ｉ?ＷＦＳ??Ａｇｅｎｔ?????Ｉ??Ｉ??图２－３?Ｆｌｕｍｅ－ＮＧ架构图??如图２．３所示，Ａｇｅｎｔ是Ｆｌｕｍｅ中最小的独立执行单位，一个Ａｇｅｎｔ由Ｓｏｕｒｃｅ、??Ｃｈａｎｎｅｌ、Ｓｉｎｋ三部分组成。Ｓｏｕｒｃｅ负责对原始数据的采集；Ｃｈａｎｎｅｌ则为数据提??供临时缓存通道，缓解压力，确保数据的可靠传输；Ｓｉｎｋ负责数据的输出，指定??数据的下沉类型及位置。数据在Ｃｈａｎｎｅｌ中以Ｅｖｅｎｔ的形式保存，Ｅｖｅｎｔ是Ｈｕｍｅ??内部数据传输的基本单元，一条数据加一个可选头部Ｈｅａｄｅｒ信息构成一个Ｅｖｅｎｔ，??可选头部存储时间等数据相关的信息，头部信息可被Ｆｌｕｍｅ配置文件直接获取，??也可有开发者编辑，以便针对每条Ｅｖｅｎｔ做预处理。三种组件可以灵活配置应对??开发者系统的数据采集与简单预处理，本课题将通过Ｆｌｕｍｅ实现管控数据的实??时采集并存储到ＨＤＦＳ中以供后续管控及追责
【参考文献】：
期刊论文
[1]基于Flume和HDFS的大数据采集系统的研究与实现[J]. 方中纯,赵江鹏. 内蒙古科技大学学报. 2018(03)
[2]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[3]基于全同态MAC的消息认证算法设计[J]. 潘钊,张跃军,丁代鲁. 电子技术应用. 2018(01)
[4]基于Spark平台的聚类算法的研究和实现[J]. 胡可,姜学军. 电子世界. 2017(23)
[5]基于SSM框架的客户管理系统设计与实现[J]. 刘昊,李民. 软件导刊. 2017(07)
[6]Spark 2.0平台在大数据处理中的应用研究[J]. 周显春,肖衡. 软件导刊. 2017(05)
[7]Spark DAG优化MapReduce协同过滤算法[J]. 廖彬,张陶,于炯,国冰磊,张旭光,刘炎. 中山大学学报(自然科学版). 2017(03)
[8]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[9]Spark的图计算框架:GraphX[J]. 孙海. 现代计算机(专业版). 2017(09)
[10]一种基于安全标记的多租户访问控制方法[J]. 彭勇,侯超平,童遥,申光. 中兴通讯技术. 2017(01)
博士论文
[1]云计算平台下数据安全与版权保护技术研究[D]. 黄勤龙.北京邮电大学 2014
[2]信息系统等级保护中的多级安全技术研究[D]. 高朝勤.北京工业大学 2012
硕士论文
[1]基于Redis技术的分布式缓存电商平台设计与实现[D]. 欧阳文臣.南昌大学 2018
[2]云数据安全标记的研究[D]. 杨小宁.北京交通大学 2018
[3]云平台环境下实时日志管理系统的研究与实现[D]. 蔡金钻.电子科技大学 2018
[4]基于MVC的P2P网络借贷系统的设计与实现[D]. 张翔.北京交通大学 2017
[5]基于Spark的Web日志分析处理系统[D]. 董剑.西安理工大学 2016
[6]基于Web应用的日志采集与分析系统的设计与实现[D]. 于静.北京交通大学 2016
[7]基于HDFS的文件存储与读取的优化策略研究与应用[D]. 张程.北京工业大学 2016
[8]基于SpringMVC和MyBatis框架的炒股比赛系统的设计与实现[D]. 吴婉楠.南京大学 2016
[9]云存储中数据完整性验证及去重技术研究[D]. 李志科.广东工业大学 2015
[10]云计算环境下虚拟机逃逸问题研究[D]. 刘宏.上海大学 2015
本文编号：3092819
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3092819.html
