基于通联日志的地址属性标定系统研究与实现

发布时间：2017-12-06 11:20

  本文关键词：基于通联日志的地址属性标定系统研究与实现

  更多相关文章： 通联日志 网络地址属性 实时标定 Hadoop 集成学习

【摘要】：网络流量分析技术包括对网络主机地址、网络互连、网络应用以及网络用户行为等多个关联实体的研究分析,对网络资源分配、网络服务质量提高都具有重要意义,其中以网络主机地址为研究对象的网络流标定,是精细化网络管理的新趋势。本文通过对网络流量产生的通联日志进行分析,研究以通联日志为基础的网络地址属性标定技术,主要研究内容包括： 1.提出并实现了基于双哈希表数据结构的网络通联信息管理方法。高速网络流完整接收和实时计算是核心网络流分析的一大挑战,本文设计通联日志这一流描述格式,保留通联信息过滤数据包负载数据,以大大降低流数据处理成本。通联日志接收预处理节点使用双哈希表通联信息记录管理结构和多核多线程并行计算,最终达到单机每秒600万条通联日志的实时处理能力,预处理节点计算前后数据量压缩比达到95.7%。 2.在对网络地址属性进行标定过程中,以地址活跃明暗度和截至当前的地址通联情况为依据,定时在增量叠加数据集上施加属性标定模型计算,以提高网络地址相关数据的实际贴合度。提出并实现了基于MapReduce的地址属性标定计算模型,借助Hadoop分布式并行计算能力,达到每半小时28GB数据的合并分析,最终完成对2天总计28亿活跃地址的网络角色类型属性标定存储。 3.研究常见地址业务属性模型,调整UNIBS数据集使符合本文系统数据形式,在该数据集上测试对比常用的6类机器学习基分类器标定准确度和差异度,最终提出基于加权置信度的组合地址业务分类算法。结果表明本文算法对于UNIBS中32类应用的整体分类准确度较ZeroR分类器有40.57%提高,相比该样本空间的最佳基分类器J48的分类准确率提高1.8%。相比于基分类器该组合算法置信度也有提升,其业务置信度的最高提升31.85%,平均提升2.59%。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.06

【参考文献】

中国期刊全文数据库 前4条

1 康伟;;基于SNA的突发事件网络舆情关键节点识别——以“7·23动车事故”为例[J];公共管理学报;2012年03期

2 袁小坊;王东;谢高岗;张大方;闵应骅;;高速网络流量特性与流数据库设计[J];计算机工程与应用;2009年13期

3 程光,龚俭,丁伟;基于统计分析的高速网络分布式抽样测量模型[J];计算机学报;2003年10期

4 林闯,彭雪海;可信网络研究[J];计算机学报;2005年05期

中国博士学位论文全文数据库 前3条

1 吴敏;P2P网络流量控制管理若干关键技术研究[D];南京邮电大学;2011年

2 熊兵;高速网络数据流分析的若干问题研究[D];华中科技大学;2009年

3 李为民;互联网典型业务流量特征研究[D];北京邮电大学;2012年

，

本文编号：1258416