基于数据流挖掘的流量识别技术研究

发布时间：2016-10-18 06:29

  本文关键词：基于关联规则与决策树的预测方法研究及其应用，由笔耕文化传播整理发布。

《曲阜师范大学》 2014年

基于数据流挖掘的流量识别技术研究

张莹  

【摘要】：随着互联网技术高速发展,各类新型的网络应用使网络流量急剧增长，对带宽的无秩序、无节制的抢占，为网络带宽资源的管理带来了的巨大挑战。网络流量识别技术的研究可解决带宽资源使用不合理而造成的业务质量下降问题，为实时监控不同业务的使用质量，链路负载均衡，减少带宽资源浪费，，提升关键业务传输效率等提供科学依据。此外，网络流量识别对于各种网络计费、网络安全、流量工程等领域也是至关重要的。 本文首先分析流量识别技术的研究现状，给出了网络流量识别技术的评价标准和识别结果评价指标，并对目前网络流量实时识别中的存在的问题进行了分析，给出了解决对策。然后重点研究了基于数据流挖掘的流量识别技术，并作了比较。最后设计了基于数据流挖掘的流量识别系统。论文的主要研究内容和创新成果如下： (1)本文将CVFDT(Concept-adapting Very Fast Decision Tree)算法应用到在网络流量识别中，CVFDT是一种数据流分类算法，可以随着训练样本的到来动态的更新分类模型，可以解决概念漂移问题，并采用目前权威数据通过实验比较了CVFDT算法和VFDT算法的分类准确率和解决概念漂移的能力； (2)采用CVFDT算法设计了实时流量识别系统，给出了系统的总体设计，给出了流量采集、采样、流汇聚、流实时属性选择、构建决策树和类标记等关键技术的实现方法。流量采集是采用Linux下的包捕获库Libpcap；采样技术是采用简单随机采样方法，采用采样技术可以解决软件采集产生严重丢包率的问题；流汇聚通过比较数据包五元组来确定数据包是否属于一条流，然后将数据包汇聚成流；流实时属性选择是选择了具有实时性、差异性的属性集，并且选取了流的一部分作为计算区间，降低了时间复杂度和空间复杂度；构建决策树则是根据CVFDT算法构建可以随时更新的决策树；分类模块则是利用实时属性选择模块计算的属性值作为输入，对流量完成类标记。通过在校园网中进行流量的采集和识别，本文的流量实时识别系统可以有效辅助网络应用情况的统计和预测。

【关键词】：
【学位授予单位】：曲阜师范大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.06
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前9条

1 孙知信;张玉峰;;基于多维支持向量机的P2P网络流量识别模型[J];吉林大学学报(工学版);2010年05期

2 陈亮;龚俭;徐选;;应用层协议识别算法综述[J];计算机科学;2007年07期

3 刘三民;孙知信;刘余霞;;基于决策树集成的P2P流量识别研究[J];计算机科学;2011年11期

4 王涛;李舟军;胡小华;颜跃进;陈火旺;;一种高效的数据流挖掘增量模糊决策树分类算法[J];计算机学报;2007年08期

5 徐鹤;王锁萍;王汝传;赵丹;;基于神经网络集成的P2P流量识别研究[J];南京邮电大学学报(自然科学版);2010年03期

6 柏骏;夏靖波;吴吉祥;任高明;赵小欢;;实时网络流量分类研究综述[J];计算机科学;2013年09期

7 徐鹏;林森;;基于C4.5决策树的流量分类方法[J];软件学报;2009年10期

8 史金成;胡学钢;;数据流挖掘研究[J];计算机技术与发展;2007年11期

9 赵国锋;吉朝明;徐川;;Internet流量识别技术研究[J];小型微型计算机系统;2010年08期

【共引文献】

中国期刊全文数据库 前10条

1 吴耿;李杰;杨文保;;基于代价敏感决策树的网络流量分类研究[J];电脑与信息技术;2011年05期

2 徐志华;周金治;李莲春;;基于UCL的网络音视频自动标引[J];电视技术;2011年12期

3 朱姣姣;叶猛;;多模式匹配及其改进算法在协议识别中的应用[J];电视技术;2012年07期

4 张俊清;王汝传;李致远;;基于模糊识别的P2P流量检测方法[J];信息化研究;2011年05期

5 胡婷;王勇;陶晓玲;;网络流量分类方法的比较研究[J];桂林电子科技大学学报;2010年03期

6 李国平;王勇;陶晓玲;;基于DPI和机器学习的网络流量分类方法[J];桂林电子科技大学学报;2012年02期

7 辛守庭;张洁;杨志民;;一种从被噪声污染的图像中提取模拟波形的方法[J];甘肃科技;2009年01期

8 张晓俊;丁洋;陈莉;陶金;陶智;;基于C4.5决策树的正常与甲亢嗓音识别研究[J];信息化研究;2013年04期

9 张文杰;唐勇;赵国鸿;;非法IPTV媒体流识别与过滤[J];电子技术与软件工程;2013年19期

10 傅亚莉;;数据挖掘技术C4.5算法在成绩分析中的应用[J];重庆理工大学学报(自然科学);2013年11期

中国重要会议论文全文数据库 前2条

1 张晓利;周荣辉;;多模式匹配算法在协议识别中的应用[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

2 ;Application of Multi-level Compressed Decision Tree in Computer Forensics[A];Proceedings 2010 IEEE 2nd Symposium on Web Society[C];2010年

中国博士学位论文全文数据库 前10条

1 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年

2 王爱平;视频目标跟踪技术研究[D];国防科学技术大学;2011年

3 王涛;数据流挖掘分类方法关键技术研究[D];国防科学技术大学;2007年

4 孔英会;数据流技术及其在电力信息处理中的应用研究[D];华北电力大学（河北）;2009年

5 杨蓓;数据流top-K频繁模式挖掘算法研究[D];北京交通大学;2009年

6 于小兵;基于数据仓库和移动Agent的智能电子商务研究与应用[D];武汉理工大学;2010年

7 林平;网络流量的离线分析[D];北京邮电大学;2010年

8 高敬阳;神经网络集成BOOSTING类算法研究[D];北京化工大学;2012年

9 张剑;宽带接入网流量识别关键技术研究[D];北京邮电大学;2011年

10 伊卫国;基于关联规则与决策树的预测方法研究及其应用[D];大连海事大学;2012年

中国硕士学位论文全文数据库 前10条

1 台祥广;基于网络处理器的流量过滤及均衡技术研究[D];北京邮电大学;2011年

2 李保秀;中文文本分类技术研究[D];南昌大学;2010年

3 李金长;企业内网信息安全防护系统设计与实现[D];电子科技大学;2010年

4 殷贤君;基于增量存储的商业数据流分类挖掘算法研究与应用[D];浙江工商大学;2011年

5 李坤;SSG中基于应用层协议的带宽管理的研究[D];西安电子科技大学;2009年

6 任宝虎;天清汉马USG上网行为管理子系统中协议识别技术的研究和应用[D];北京交通大学;2011年

7 孙燕花;基于聚类的网络用户行为分析[D];中南大学;2011年

8 吴耿;基于决策树的网络流量分类研究[D];中南大学;2011年

9 董苹苹;即时通文件传输审计系统的研究与实现[D];中南大学;2011年

10 付利;校园网被控主机的检测系统研究[D];华北电力大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 马永立;钱宗珏;寿国础;胡怡红;;机器学习用于网络流量识别[J];北京邮电大学学报;2009年01期

2 张剑;钱宗珏;寿国础;胡怡红;;在线聚类的网络流量识别[J];北京邮电大学学报;2011年01期

3 周扬眉;向量的加权平均值及其应用[J];测绘通报;2004年02期

4 倪志伟,黄玲,李锋刚,忻凌;数据流管理与挖掘研究[J];合肥工业大学学报(自然科学版);2005年09期

5 潘亚东;周健;孙海霞;;基于自组织映射网络的流量分类算法[J];合肥工业大学学报(自然科学版);2009年08期

6 刘学军;徐宏炳;董逸生;王永利;钱江波;;挖掘数据流中的频繁模式[J];计算机研究与发展;2005年12期

7 徐鹏;刘琼;林森;;改进的对等网络流量传输层识别方法[J];计算机研究与发展;2008年05期

8 王建东;祝超;谢应科;韩承德;赵自力;;基于FPGA的万兆流量并行实时处理系统研究[J];计算机研究与发展;2009年02期

9 徐鹏;刘琼;林森;;基于支持向量机的Internet流量分类研究[J];计算机研究与发展;2009年03期

10 孙知信;张玉峰;;基于多维支持向量机的P2P网络流量识别模型[J];吉林大学学报(工学版);2010年05期

中国硕士学位论文全文数据库 前2条

1 乐晓蓉;神经网络集成算法设计及分析[D];扬州大学;2007年

2 柴晨阳;基于神经网络集成的入侵检测研究[D];湖南大学;2007年

《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
京ICP证040441号
互联网出版许可证 新出网证（京）字008号
出版物经营许可证 新出发京批字第直0595号

订购热线：400-819-9993 010-62982499
服务热线：010-62985026 010-62791813
在线咨询：
传真：010-62780361
京公网安备11010802020475号

  本文关键词：基于关联规则与决策树的预测方法研究及其应用，由笔耕文化传播整理发布。

本文编号：144175