基于事件流计算系统异常监测研究
发布时间：2021-08-09 12:41
事件流计算技术是一种新型的大数据处理技术。该项技术是在流计算的基础上结合事件处理技术,不仅可以提供大规模实时在线数据处理,同时也可以运用到情景识别,智能处理等具有一定逻辑判断能力的应用场景中。事件流计算系统是一种多组件协同的大规模分布式实时系统,其组件结构复杂,系统异常高发,样本规模小,对事件流计算系统进行异常监测方法的研究在确保大数据处理领域的可靠性和安全性方面发挥着至关重要的作用。本文在全面分析事件流计算系统的基础上,根据事件流计算系统特征提出相应异常监测方案,本文主要研究内容如下:1.针对如何描述事件流计算系统行为特征和如何在线自适应监测异常情况的问题,提出一种基于快速查找聚类中心的事件流计算系统异常监测方法。首先,通过分析事件流计算系统行为特征,结合事件流计算系统的事件状态空间和物理状态空间,构建一种系统行为描述方法,对系统行为状态进行刻画;然后,通过分析事件流计算系统的异常监测具有在线、自适应和多点监测特点,并考虑到快速查找聚类中心算法不能自动确定聚类数目的局限,提出一种结合快速查找聚类中心与外部统计测试的方法,实现系统行为状态自动识别;最后,引入自适应异常监测框架,自动调整...
【文章来源】：重庆邮电大学重庆市
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
数据流处理与事件流处理对比图
(a) 主从式架构 (b) 对等式架构图 2.1 流计算系统框架对比图1. 主从式架构主从式架构如 2.1(a)所示，主从式架构包含一个控制节点和多个工作节点点主要负责系统调度，包括统筹分配系统资源、监控系统运行状态、负载系统计算任务等；工作节点主要负责计算控制节点分配任务、反馈计算后自身运行状态到控制节点。各个工作节点之间的信息交换，依赖于控制节协调传递，在主从式架构中，如果工作节点发生异常，工程上一般采用备续工作，可以看出，如果控制节点发生异常，则会给系统带来严重的损失在主从式架构中的流计算系统异常监测的重点一般放在控制节点。主从式是资源利用率相对较高，开销相对较小，主要集中在控制节点，缺点是技为复杂。2. 对等式架构
sper 系统er[43]主要针对 XML、POJO 以及 Java.util.Map 类型的数据进换为高级事件，实现对高级事件的管理。Esper 事件处理主流处理(EventStreamProcess,ESP)和复杂事件处理(Complex中 ESP 主要负责检测符合匹配规则的原始事件流，CEP 主的事件流进行过滤或聚合等操作[19]，得到复杂事件。Esper 所示，首先，到来的实时数据流输入到输入适配器，根据时据流转换为具有内部逻辑的事件流，当事件流进入到 CEP 引擎预先设定的声明语句，包括过滤、关联、聚合等语言规配规则的事件再次输入到 POJO 模块中，整合为复杂事件过输出适配器向应用上层输出结果。输入实时数据流StatementsPOJO
【参考文献】：
期刊论文
[1]基于情境和事件的生产异常表示和监测方法[J]. 查欣欣,曹冬雪,卢涛. 计算机应用与软件. 2017(12)
[2]主动式复杂事件处理方法的研究[J]. 耿少峰,王永恒,李仁发,张佳. 通信学报. 2016(09)
[3]复杂事件模式检测与CEP测试数据生成算法研究[J]. 赵会群,孙晶,杨岩坤,毛立志. 计算机学报. 2017(01)
[4]大数据流式计算:应用特征和技术挑战[J]. 孙大为. 大数据. 2015(03)
[5]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民. 软件学报. 2014(04)
[6]基于Esper和Nagios的网络监控系统设计与实现[J]. 蔡昭权,索剑,汪华斌,卢庆武,罗伟. 计算机工程与科学. 2012(09)
[7]基于拓扑序列的DAG子图包含查询算法研究[J]. 奚业雷,吕建华,张柏礼. 计算机研究与发展. 2011(S3)
[8]基于Petri网的攻击检测模式的优化生成算法[J]. 王勇,曹斌,彭雪娜,常桂然. 通信学报. 2003(03)
博士论文
[1]基于局部线性嵌入的潜油柱塞泵故障诊断方法研究[D]. 刘远红.哈尔滨工业大学 2016
硕士论文
[1]数据中心机柜温度控制过程模拟及实验研究[D]. 朱广乐.沈阳工业大学 2018
本文编号：3332085
【文章来源】：重庆邮电大学重庆市
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
数据流处理与事件流处理对比图
(a) 主从式架构 (b) 对等式架构图 2.1 流计算系统框架对比图1. 主从式架构主从式架构如 2.1(a)所示，主从式架构包含一个控制节点和多个工作节点点主要负责系统调度，包括统筹分配系统资源、监控系统运行状态、负载系统计算任务等；工作节点主要负责计算控制节点分配任务、反馈计算后自身运行状态到控制节点。各个工作节点之间的信息交换，依赖于控制节协调传递，在主从式架构中，如果工作节点发生异常，工程上一般采用备续工作，可以看出，如果控制节点发生异常，则会给系统带来严重的损失在主从式架构中的流计算系统异常监测的重点一般放在控制节点。主从式是资源利用率相对较高，开销相对较小，主要集中在控制节点，缺点是技为复杂。2. 对等式架构
sper 系统er[43]主要针对 XML、POJO 以及 Java.util.Map 类型的数据进换为高级事件，实现对高级事件的管理。Esper 事件处理主流处理(EventStreamProcess,ESP)和复杂事件处理(Complex中 ESP 主要负责检测符合匹配规则的原始事件流，CEP 主的事件流进行过滤或聚合等操作[19]，得到复杂事件。Esper 所示，首先，到来的实时数据流输入到输入适配器，根据时据流转换为具有内部逻辑的事件流，当事件流进入到 CEP 引擎预先设定的声明语句，包括过滤、关联、聚合等语言规配规则的事件再次输入到 POJO 模块中，整合为复杂事件过输出适配器向应用上层输出结果。输入实时数据流StatementsPOJO
【参考文献】：
期刊论文
[1]基于情境和事件的生产异常表示和监测方法[J]. 查欣欣,曹冬雪,卢涛. 计算机应用与软件. 2017(12)
[2]主动式复杂事件处理方法的研究[J]. 耿少峰,王永恒,李仁发,张佳. 通信学报. 2016(09)
[3]复杂事件模式检测与CEP测试数据生成算法研究[J]. 赵会群,孙晶,杨岩坤,毛立志. 计算机学报. 2017(01)
[4]大数据流式计算:应用特征和技术挑战[J]. 孙大为. 大数据. 2015(03)
[5]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民. 软件学报. 2014(04)
[6]基于Esper和Nagios的网络监控系统设计与实现[J]. 蔡昭权,索剑,汪华斌,卢庆武,罗伟. 计算机工程与科学. 2012(09)
[7]基于拓扑序列的DAG子图包含查询算法研究[J]. 奚业雷,吕建华,张柏礼. 计算机研究与发展. 2011(S3)
[8]基于Petri网的攻击检测模式的优化生成算法[J]. 王勇,曹斌,彭雪娜,常桂然. 通信学报. 2003(03)
博士论文
[1]基于局部线性嵌入的潜油柱塞泵故障诊断方法研究[D]. 刘远红.哈尔滨工业大学 2016
硕士论文
[1]数据中心机柜温度控制过程模拟及实验研究[D]. 朱广乐.沈阳工业大学 2018
本文编号：3332085
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3332085.html
