面向海量邮件日志的异常信息发现与挖掘

发布时间：2020-05-05 12:10

【摘要】：电子邮件因为其方便、快捷、低成本的特点成为了人们生活中和工作中不可或缺的信息传递媒介,也因此导致垃圾邮件泛滥成灾。特别是在高校,这种问题尤其严重。杜绝垃圾邮件的传播,有效地对邮件系统进行垃圾邮件的过滤,是学校,乃至企业网络中心十分关注的核心焦点。现如今已存在许多相关研究,比如常用的贝叶斯、支持向量机过滤算法,也获得了很多成果,但是大部分都是基于邮件内容的过滤算法。在现实中,往往因为隐私问题无法获取邮件的文本内容,并且基于内容的过滤也耗费了大量的处理时间。因此,必须寻求新的方法和算法。本文以某高校的邮件系统为例,提出了一种基于ELK对邮件日志的信息处理架构,能够实时处理大量日志流数据,在现实中,高校邮件系统每天产生可达上亿数量级的邮件日志,该框架对上亿的吞吐量仍然表现良好。然后利用正则表达式进行日志分析,提取日志中实验所需的信息,如发件人、收件人、发送时间、接受时间等元素,并定义了邮件事件的概念将所得元素组合进行建模,存入图数据库。然后引入用户基本行为模式单元(简称模式单元)的概念,改进了用户行为模式挖掘算法,提取用户行为特征,通过分析快照中的特征,发现邮件信息的异常。实验证明,该方案能实现对大规模量数据的实时处理与建模存储,满足邮件系统的需求。本文的主要工作在于提供了一个新的工具组合ELK+Neo4j处理邮件日志,利用ELK实现邮件日志的实时搜索。采用正则表达式的方法提取邮件日志中零零散散的信息,将零碎的信息组合建模,提出邮件事件的概念,将事件存入图数据库Neo4j中。引入模式单元的概念,改进了用户行为模式算法来检测用户异常信息,发现垃圾邮件。
【图文】：

重庆邮电大学硕士学位论文 第 2 章 背景知识以及相关技and Graph、Neo4j 等等，目前各个企业选择最多、最主流的就是 Neo4j，所以本也是选用的 Neo4j 来作为这次实验的 Databese。Neo4j 最主要的特点它是一张是有属性并且可以设置方向的图，它不仅仅能够支持 Ruby、Python、Java、ScalaPHP 等语言，还能够提供了 Blueprints、Gremlin、Cypher 等查询语言，最常用是 Cypher。与此同时，它也支持传统关系数据库的 ACID 事物机制。作为一款源的 NOSQL，它的底层是用 JAVA、SCALA 写的，，图 2.2 为 Neo4j 的可视化数展示样例。

PersonNode1 FriendNode1Name：AlicaAge：21PerName：Will前一条边Node1和Node2各自的后一条边图 2.5 图数据库底层存储关系实验对比：分别利用 Neo4j 与 Mysql 查询 uid 为 40117 的读者所看过的文章 id，查询结别如图 2.6 和图 2.7 所示：
【学位授予单位】：重庆邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP393.098

【参考文献】

相关期刊论文 前10条

1 张显;;基于SMTP协议的嵌入式邮件通知软件[J];计算机系统应用;2015年11期

2 李祥池;;基于ELK和Spark Streaming的日志分析系统设计与实现[J];电子科学技术;2015年06期

3 张建中;黄艳飞;熊拥军;;基于ElasticSearch的数字图书馆检索系统[J];计算机与现代化;2015年06期

4 姜洋;彭智勇;彭煜玮;;基于图数据库的在线族谱编录系统[J];计算机应用;2015年01期

5 陈俊杰;黄国凡;;应用Elasticsearch重构图书馆站内搜索引擎[J];情报探索;2014年11期

6 义天鹏;陈启安;;基于Lucene的中文分析器分词性能比较研究[J];计算机工程;2012年22期

7 王余蓝;;图形数据库NEO4J与关系据库的比较研究[J];现代电子技术;2012年20期

8 唐涛;;基于搜索引擎日志分析的网络舆情监测方法研究[J];情报杂志;2012年08期

9 王贺封;;时空数据模型及TGIS研究[J];测绘与空间地理信息;2006年04期

10 周念念,冉蜀阳,曾剑宇,钟响;基于人工免疫的反垃圾邮件系统模型[J];计算机应用;2005年11期

相关博士学位论文 前2条

1 张硕;图数据库查询处理技术的研究[D];哈尔滨工业大学;2010年

2 王美珍;垃圾邮件行为模式识别与过滤方法研究[D];华中科技大学;2009年

相关硕士学位论文 前2条

1 张翔;基于Java的邮件收发系统设计与实现[D];吉林大学;2017年

2 陆鹏;基于Neo4j的大数据组织检索研究与应用[D];东南大学;2015年

本文编号：2650121