云加密应用服务的日志系统设计与实现
发布时间：2021-12-22 05:55
基于内容关联密钥技术的云加密应用系统是一个多客户端,分布式集群环境下的微服务应用,主要功能是将用户的各类文件通过新型内容关联密钥技术进行安全有效的加密。该系统现需要一个能有效监控应用系统运行和对日志数据统一管理的日志系统。现有通用日志框架通常能完成基本的日志搜集和简单的查询统计工作,然而在高并发、高可定制性、高数据完整性要求的场景下略显无力。通过分析云加密应用服务本身的应用特性、分布式集群特性、安全特性、内容关联密钥加密特性等,对云加密应用服务的专用日志系统进行需求分析。围绕需求,从架构可用性和应用功能性两个方面分别进行系统设计。架构上采用采集、传输、存储分离的三层结构进行日志数据的收集,加入集群技术、消息队列技术等实现高并发场景下的高可用性和容灾性,且存储层通过冗余备份机制来满足数据完整性和一致性要求。在日志应用方面,首先对数据检索和可视化方案进行了详细设计,从网络访问日志、服务标准输出日志、系统运行环境日志三个方面分别设计定制化的监控和统计方案。并且,设计链路追踪框架来记录每一次用户操作所触发的底层调用链,当问题出现时能还原整个场景,从而快速定位问题节点。同时,针对加密系统和日志系...
【文章来源】： 韩玉雯 华中科技大学
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
Dapper跟踪树模型
经过一定处理后写到 Bigtable 存储中心[42]。apper 具有三个特性。（1）低消耗：日志收集守护进程对硬件资源的消日志系统不能反之影响应用服务的性能。（2）应用透明：开发人员不系统的存在，设计者应尽可能减少或去除应用中相关代码植入。（3）跨语言、跨平台，在整体性能上也要做到高可用。ELKLK 是 ElasticSearch+Logstash+Kibana 三个软件的简称，是 Elastic 推出场景下日志系统解决方案[43][44]。Logstashogstash 是日志的搜集、分析、过滤工具，一般工作方式为 C/S 架构在需要收集日志的主机上，负责将日志数据拉取并上传到 Server 端将收到的各节点日志进行过 滤、分类、格式转换后，存储到 DB 中stash 工作流程图。
短信告知管理员本地缓存记录账号与错误次数次数达到3次获取管理员信息强制进行手机验证码登录验证密码为错误图 3.14 安全登录报警时序图管理员账号信息存储于 Mysql 而不是 MongoDB 中。密码的加密方式为 M密。目前，普通的 MD5 方式已有一些安全隐患，网络上存在专门的 MD5 破解，输入加密后的字符串就可以得到对应明文，如图 3.15 所示。
【参考文献】：
期刊论文
[1]基于大数据的网络日志分析技术[J]. 应毅,任凯,刘亚军. 计算机科学. 2018(S2)
[2]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香. 计算机工程与设计. 2018(07)
[3]多种存储环境下压缩数据库的缓存优化[J]. 张佳辰,刘晓光,王刚. 计算机应用. 2018(05)
[4]分布式流数据加载和查询技术优化[J]. 易佳,薛晨,王树鹏. 计算机科学. 2017(05)
[5]计算机网络信息安全中数据加密技术的研究[J]. 邵康宁. 信息安全与技术. 2016(02)
[6]基于Thrift框架RPC的研究与实现[J]. 田翠珍. 信息与电脑(理论版). 2016(01)
[7]内存列存储数据库中优化的混合自适应索引[J]. 薛忠斌,周烜,张延松,周新,王珊. 计算机科学. 2015(11)
[8]社会化推荐系统研究[J]. 孟祥武,刘树栋,张玉洁,胡勋. 软件学报. 2015(06)
[9]基于列存储的大数据分析系统物化策略研究[J]. 张滨,乐嘉锦,孙莉,夏小玲,王梅,李晔锋. 计算机研究与发展. 2015(05)
[10]虚拟现实环境下的分布式服务器架构策略研究[J]. 李玉玲,张东旭. 计算机工程与应用. 2016(11)
博士论文
[1]分布式信息检索中的若干重要问题研究[D]. 何川.北京邮电大学 2012
硕士论文
[1]统一日志系统中的日志获取模块与日志检索模块的设计与实现[D]. 郑荣.南京大学 2018
[2]面向日志大数据分析的业务服务系统的设计与实现[D]. 辜家伟.华南理工大学 2018
[3]基于ELK的网络安全日志管理分析系统的设计与实现[D]. 曾恒.北京邮电大学 2017
[4]基于实时日志系统的海量日志服务平台设计与实现[D]. 薛亚鹏.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[5]基于HBase的日志异常分析与相关算法研究[D]. 孟庆翔.电子科技大学 2016
[6]分布式环境下通用日志系统的设计与实现[D]. 阮厦城.哈尔滨工业大学 2015
[7]基于日志分析的MySQL数据库取证算法研究[D]. 谭森.上海交通大学 2015
[8]基于Hadoop的海量网络流量日志处理技术研究与实现[D]. 渠文龙.北京邮电大学 2014
[9]基于令牌桶算法的交换网流量控制方法[D]. 刘宇翔.西安电子科技大学 2014
本文编号：3545876
【文章来源】： 韩玉雯 华中科技大学
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
Dapper跟踪树模型
经过一定处理后写到 Bigtable 存储中心[42]。apper 具有三个特性。（1）低消耗：日志收集守护进程对硬件资源的消日志系统不能反之影响应用服务的性能。（2）应用透明：开发人员不系统的存在，设计者应尽可能减少或去除应用中相关代码植入。（3）跨语言、跨平台，在整体性能上也要做到高可用。ELKLK 是 ElasticSearch+Logstash+Kibana 三个软件的简称，是 Elastic 推出场景下日志系统解决方案[43][44]。Logstashogstash 是日志的搜集、分析、过滤工具，一般工作方式为 C/S 架构在需要收集日志的主机上，负责将日志数据拉取并上传到 Server 端将收到的各节点日志进行过 滤、分类、格式转换后，存储到 DB 中stash 工作流程图。
短信告知管理员本地缓存记录账号与错误次数次数达到3次获取管理员信息强制进行手机验证码登录验证密码为错误图 3.14 安全登录报警时序图管理员账号信息存储于 Mysql 而不是 MongoDB 中。密码的加密方式为 M密。目前，普通的 MD5 方式已有一些安全隐患，网络上存在专门的 MD5 破解，输入加密后的字符串就可以得到对应明文，如图 3.15 所示。
【参考文献】：
期刊论文
[1]基于大数据的网络日志分析技术[J]. 应毅,任凯,刘亚军. 计算机科学. 2018(S2)
[2]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香. 计算机工程与设计. 2018(07)
[3]多种存储环境下压缩数据库的缓存优化[J]. 张佳辰,刘晓光,王刚. 计算机应用. 2018(05)
[4]分布式流数据加载和查询技术优化[J]. 易佳,薛晨,王树鹏. 计算机科学. 2017(05)
[5]计算机网络信息安全中数据加密技术的研究[J]. 邵康宁. 信息安全与技术. 2016(02)
[6]基于Thrift框架RPC的研究与实现[J]. 田翠珍. 信息与电脑(理论版). 2016(01)
[7]内存列存储数据库中优化的混合自适应索引[J]. 薛忠斌,周烜,张延松,周新,王珊. 计算机科学. 2015(11)
[8]社会化推荐系统研究[J]. 孟祥武,刘树栋,张玉洁,胡勋. 软件学报. 2015(06)
[9]基于列存储的大数据分析系统物化策略研究[J]. 张滨,乐嘉锦,孙莉,夏小玲,王梅,李晔锋. 计算机研究与发展. 2015(05)
[10]虚拟现实环境下的分布式服务器架构策略研究[J]. 李玉玲,张东旭. 计算机工程与应用. 2016(11)
博士论文
[1]分布式信息检索中的若干重要问题研究[D]. 何川.北京邮电大学 2012
硕士论文
[1]统一日志系统中的日志获取模块与日志检索模块的设计与实现[D]. 郑荣.南京大学 2018
[2]面向日志大数据分析的业务服务系统的设计与实现[D]. 辜家伟.华南理工大学 2018
[3]基于ELK的网络安全日志管理分析系统的设计与实现[D]. 曾恒.北京邮电大学 2017
[4]基于实时日志系统的海量日志服务平台设计与实现[D]. 薛亚鹏.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[5]基于HBase的日志异常分析与相关算法研究[D]. 孟庆翔.电子科技大学 2016
[6]分布式环境下通用日志系统的设计与实现[D]. 阮厦城.哈尔滨工业大学 2015
[7]基于日志分析的MySQL数据库取证算法研究[D]. 谭森.上海交通大学 2015
[8]基于Hadoop的海量网络流量日志处理技术研究与实现[D]. 渠文龙.北京邮电大学 2014
[9]基于令牌桶算法的交换网流量控制方法[D]. 刘宇翔.西安电子科技大学 2014
本文编号：3545876
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3545876.html
