基于MapReduce的海量事件日志并行转化算法

发布时间：2018-05-02 23:03

  本文选题：大数据 + 事件日志　； 参考：《计算机集成制造系统》2013年08期

【摘要】：随着大数据时代的来临,为了高性能地转化海量分布式日志,提出事件日志在云平台上基于MapReduce架构的分布式转化算法。提出基于案例拆分的改进算法,以转化单机上的日志,使其变得可行;进一步提出基于MapReduce的并行转化算法。这是在过程挖掘领域中首次实现从海量原始日志到可扩展事件流事件日志的并行转化,极大地提高了转化性能。
[Abstract]:With the advent of big data era, in order to transform massive distributed log into high performance, a distributed transformation algorithm based on MapReduce architecture for event log on cloud platform is proposed. An improved case-based split algorithm is proposed to transform the log on a single computer to make it feasible, and a parallel transformation algorithm based on MapReduce is proposed. This is the first time in the field of process mining to realize the parallel transformation from massive raw log to extensible event stream event log, which greatly improves the conversion performance.
【作者单位】： 清华大学软件学院;清华大学
【基金】：国家自然科学基金资助项目(61003099) 国家863计划资助项目(2012AA040904) 教育部—中国移动科研基金资助项目(MCM20123011)~~
【分类号】：TP393.09

【相似文献】

相关期刊论文 前10条

1 施彤宇;三大数据库厂商Internet上的几个回合[J];电子出版;1996年11期

2 马辉,张凯;基于Petri网的工作流挖掘技术分析[J];计算机与现代化;2005年07期

3 文一凭;赵肄江;;工作流日志中的工作流模式图挖掘技术研究[J];计算机应用研究;2008年01期

4 尹永顺;MS SQL Server中大数据量表的查询优化[J];计算机系统应用;2005年02期

5 纪慧蓉;拾yN春;;大数据信息存储应用[J];中国高新技术企业;2008年16期

6 董建华;快速清理Informix超大数据表的方法[J];华南金融电脑;2002年09期

7 陈文,蒋平;过程挖掘在基于实例的机器人编程中的应用[J];机器人;2005年04期

8 陈亮;高建民;陈富民;陈琨;李成;;基于工作流挖掘的质量管理过程改进研究[J];计算机集成制造系统;2006年04期

9 黄红梅;章云;;一种发现非确定选择平行关系的过程挖掘算法[J];计算机应用;2008年11期

10 王礼赞;;网络访问日志[J];电脑知识与技术;2009年23期

相关会议论文 前7条

1 ;EMC isilon大数据解决方案为BIM构建坚实的信息基础架构[A];BIM与工程建设信息化——第三届工程建设计算机应用创新论坛论文集[C];2011年

2 金莹;汤银才;;Weibull分布下异常数据的线性检验方法[A];中国现场统计研究会第12届学术年会论文集[C];2005年

3 孙卫红;冯毅雄;林东宇;;基于过程挖掘的业务审批流程重组研究[A];第二十九届中国控制会议论文集[C];2010年

4 简要军;王敏;吴桂林;;关于飞行模拟器中无限场景的研究与应用[A];第五届全国仿真器学术会论文集[C];2004年

5 尹丹;;计算机取证中的数据恢复技术研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

6 朱鹤健;钱乐祥;曹文志;;GIS支持下,农业生态环境区域分异的研究——以福建为例[A];海峡两岸地理学术研讨会暨2001年学术年会论文摘要集[C];2001年

7 寇有观;苏国平;;应急信息系统总体框架研究[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年

相关重要报纸文章 前10条

1 ;Unihub新开通五大数据中心[N];人民邮电;2002年

2 李玉花 李明耀;拟建五大数据库[N];检察日报;2005年

3 本报记者 迪文;我国三大数据网标准走向国际[N];通信产业报;2003年

4 本报记者 刘书臻 崔刚 通讯员 韩宝宽;统计工作要用 “大数据”说话[N];中国信息报;2005年

5 本报记者 周鹏;三大数据库 支撑八大应用系统[N];中国计算机报;2004年

6 新华社记者;十大数据见证不寻常的一年[N];新华每日电讯;2004年

7 仝;10大数据库撑起中国电子投资信息网[N];中国计算机报;2000年

8 ;速达3000XP[N];中国计算机报;2003年

9 本报记者 卜居;USB2.0期待“临门一脚”[N];计算机世界;2003年

10 E4;xMax技术[N];中国计算机报;2005年

相关博士学位论文 前5条

1 闻立杰;基于工作流网的过程挖掘算法研究[D];清华大学;2007年

2 李嘉菲;基于工作流的业务过程管理关键技术研究[D];吉林大学;2007年

3 何文娜;大数据时代基于物联网和云计算的地质信息化研究[D];吉林大学;2013年

4 高昂;基于多种视角的工作流挖掘技术研究[D];北京科技大学;2010年

5 徐振朋;移动计算环境下检查点回卷恢复容错技术研究[D];哈尔滨工程大学;2011年

相关硕士学位论文 前10条

1 田珍;基于集群技术的作业管理系统研究与应用[D];西北工业大学;2006年

2 吴苏;一种可发现复杂循环结构的扩展α过程挖掘算法[D];哈尔滨工程大学;2011年

3 王荣滔;基于工作流的模具产品协同设计平台的研究和应用[D];重庆大学;2008年

4 谢羿;变更挖掘技术研究与实现[D];国防科学技术大学;2008年

5 王海涛;从事件日志中挖掘工作流模型[D];山东大学;2006年

6 王广立;基于日志的流程挖掘算法研究[D];山东大学;2008年

7 潘建华;基于Windows平台的电子信息挖掘分析系统的设计与实现[D];厦门大学;2009年

8 凌勇;基于遗传方法的流程挖掘技术的研究[D];山东大学;2009年

9 卓安;基于P2P可伸缩架构的大数据分析平台研究与实现[D];清华大学;2012年

10 时睿;基于数据挖据的商品推荐系统研究和实现[D];上海交通大学;2013年

，

本文编号：1835862