流程挖掘预处理研究与应用

发布时间：2017-11-15 05:13

  本文关键词：流程挖掘预处理研究与应用

  更多相关文章： 流程挖掘 日志预处理 事件关联 MapReduce

【摘要】：流程挖掘技术旨在从与现代企业信息系统相关联的事件日志中抽取信息、发现业务流程模型,并使用所得模型对业务流程进行校验与改进的工作。流程挖掘在商务智能与业务流程管理中都具有重要意义。流程挖掘依赖于结构化的事件日志。而往往在实际情况中,工作与业务流程的原始日志结构、格式均不统一,并且没有确切的流程实例标识。所以,流程挖掘预处理要做的工作是将结构化的事件日志从企业信息系统产生的原始日志中提取出来。其内容主要包括对原始日志做规范化处理以及识别原始日志中的流程实例。目前国内外研究与应用中尚无针对原始日志预处理的通用方案,所以往往对每个流程挖掘工作都需要针对性地设计相应的预处理方案,极大地降低了研究与工作的效率。另外,随着流程挖掘技术日益成熟,日志预处理占整个流程挖掘工作量的比重越来越大,如何提高海量的原始日志预处理性能显得尤为重要。本文立足于大数据,对流程挖掘预处理需要解决的问题进行研究与分析,实现了一种高效的分布式预处理方案。所做工作如下:1)对原始日志进行规范化处理。包括对日志中的数据项格式进行识别与统一,按照事件日志的规则对文本日志进行数据项的合并、过滤,将原始日志统一转化成符合事件日志提取标准的规范日志。2)提出事件关联处理方案,并针对其单机计算模式的相关特点与瓶颈,提出了关于单关联与复合关联的并行计算策略,并使用MapReduce编程模型对其进行实现,与规范化处理共同组成分布式流程挖掘预处理框架。3)使用多个不同数据集进行实验,验证规范化处理流程的适用性;测试不同结点数量下分布式事件关联算法的效率与加速比。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP338.8

【相似文献】

中国期刊全文数据库 前10条

1 邓奇强;;高校图书馆流通日志数据整理探讨[J];河北科技图苑;2013年04期

2 黄玮尧;;交通银行集中日志审计管理最佳实践[J];中国金融电脑;2011年10期

3 邹晓峰;李鸣亚;;浅析一个分布式日志服务器的应用[J];考试周刊;2007年49期

4 宋爱波,庄晓青,何洁月,业宁,董逸生;图书馆大规模日志数据的快速聚类[J];应用科学学报;2003年03期

5 叶小莺;;基于回调机制的异步日志服务的开发[J];电子世界;2012年04期

6 刘兴淮;温丛剑;徐燕梅;;临床数据统计日志的科学获取与应用[J];中国医疗设备;2011年12期

7 朱智林,左天军,牛淑龄;基于日志的脏数据检测与恢复[J];电子科技;2004年05期

8 李清;沈彤;关毅;;面向大规模日志数据的聚类算法研究[J];智能计算机与应用;2012年05期

9 吕荣峰;;基于syslog-ng的集中式日志服务器及其客户端配置方法[J];数字技术与应用;2014年04期

10 刘合富;;SYSLOG日志数据采集实现[J];中国教育网络;2007年08期

中国重要会议论文全文数据库 前4条

1 王广立;张立群;;一种基于日志的流程挖掘算法的设计与实现[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

2 黄东;;工厂信息化日志的存储及管理[A];中国计量协会冶金分会2011年会论文集[C];2011年

3 刘锟;邢延;蔡延光;;一种针对交互式学习系统日志数据的轻型化挖掘方法[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

4 郭新涛;梁敏;阮备军;朱扬勇;;挖掘Web日志降低信息搜寻的时间费用[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

中国重要报纸全文数据库 前5条

1 ;日志数据激增困扰数据中心[N];网络世界;2009年

2 ;Google与隐私权[N];网络世界;2009年

3 沈建;谨防安全策略的五大基本错误[N];计算机世界;2008年

4 本报记者 胡英;RSA enVision 4.0让企业更合规[N];计算机世界;2009年

5 ;注重安全管理[N];网络世界;2004年

中国硕士学位论文全文数据库 前10条

1 刘森源;流程挖掘预处理研究与应用[D];华南理工大学;2016年

2 苏政;基于日志数据的域名访问源多尺度分析[D];南京师范大学;2013年

3 杨尚大;日志数据采集和实时审计关键技术研究与实现[D];浙江工商大学;2009年

4 王兆永;面向大规模批量日志数据存储方法的研究[D];电子科技大学;2011年

5 王高垒;爬虫日志数据信息抽取与统计系统设计与实现[D];北京邮电大学;2012年

6 龚风光;面向地址标定的通联日志分布式存储检索系统的设计与实现[D];北京邮电大学;2015年

7 陈超;基于分布式计算的海量日志数据分析平台的设计与实现[D];北京邮电大学;2015年

8 杨林红;WebGIS日志数据挖掘预处理的研究与实现[D];电子科技大学;2011年

9 王振东;铁路调度指挥系统中日志数据库的设计与优化[D];中国铁道科学研究院;2011年

10 岳宝;基于Web日志的个性化推荐系统的设计与实现[D];哈尔滨工业大学;2012年

，

本文编号：1188485