基于大数据技术的告警日志数据分析

发布时间：2017-08-20 07:29

  本文关键词：基于大数据技术的告警日志数据分析

  更多相关文章： 告警数据 Hadoop Spark

【摘要】：为了更好地满足运营商对海量非结构化数据的处理需求,主要以网络告警日志数据为例,详细阐述如何利用Hadoop+Spark大数据技术挖掘和分析海量的数据,进而提高网络监控效率。
【作者单位】： 中国电信股份有限公司江西分公司;
【关键词】： 告警数据 Hadoop Spark
【分类号】：TP311.13
【正文快照】： 1引言 随着电信网络的不断演进,全省数据网、交换网、接入网设备单月产生告警原始日志近亿条。以上告警通过网元网管、专业综合网管、智能网管系统[1]三层收敛,监控人员每月需处理影响业务或网络质量的告警事件为20万条,但一些对网络可能造成隐患的告警信息被过滤掉。如何从

【相似文献】

中国期刊全文数据库 前10条

1 邓奇强;;高校图书馆流通日志数据整理探讨[J];河北科技图苑;2013年04期

2 宋爱波,庄晓青,何洁月,业宁,董逸生;图书馆大规模日志数据的快速聚类[J];应用科学学报;2003年03期

3 叶小莺;;基于回调机制的异步日志服务的开发[J];电子世界;2012年04期

4 朱智林,左天军,牛淑龄;基于日志的脏数据检测与恢复[J];电子科技;2004年05期

5 李清;沈彤;关毅;;面向大规模日志数据的聚类算法研究[J];智能计算机与应用;2012年05期

6 吕荣峰;;基于syslog-ng的集中式日志服务器及其客户端配置方法[J];数字技术与应用;2014年04期

7 王志勃;毕艳茹;;基于分布式架构的煤矿企业日志数据分析设计与实现[J];煤炭技术;2014年03期

8 黄其民;;基于Oracle日志技术的实时灾备方案[J];中国科技信息;2006年02期

9 彭薇;;网站Web日志数据预处理模型的建立[J];企业科技与发展;2010年18期

10 边鹏;苏玉召;;基于检索日志的检索词推荐研究[J];图书情报工作;2012年09期

中国重要会议论文全文数据库 前2条

1 王广立;张立群;;一种基于日志的流程挖掘算法的设计与实现[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

2 郭新涛;梁敏;阮备军;朱扬勇;;挖掘Web日志降低信息搜寻的时间费用[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

中国重要报纸全文数据库 前2条

1 沈建;谨防安全策略的五大基本错误[N];计算机世界;2008年

2 本报记者 胡英;RSA enVision 4.0让企业更合规[N];计算机世界;2009年

中国硕士学位论文全文数据库 前10条

1 刘森源;流程挖掘预处理研究与应用[D];华南理工大学;2016年

2 苏政;基于日志数据的域名访问源多尺度分析[D];南京师范大学;2013年

3 王兆永;面向大规模批量日志数据存储方法的研究[D];电子科技大学;2011年

4 王高垒;爬虫日志数据信息抽取与统计系统设计与实现[D];北京邮电大学;2012年

5 陈超;基于分布式计算的海量日志数据分析平台的设计与实现[D];北京邮电大学;2015年

6 杨林红;WebGIS日志数据挖掘预处理的研究与实现[D];电子科技大学;2011年

7 王振东;铁路调度指挥系统中日志数据库的设计与优化[D];中国铁道科学研究院;2011年

8 岳宝;基于Web日志的个性化推荐系统的设计与实现[D];哈尔滨工业大学;2012年

9 徐沛原;基于移动终端日志数据的人群特征可视化研究[D];浙江大学;2015年

10 曹旭;Hadoop平台下海量日志数据处理模型的研究及改进[D];浙江理工大学;2013年

，

本文编号：705350