基于行为特征的海量Web流量的识别与分析

发布时间：2018-05-30 09:09

本文选题：网络流量测量 + 精细化流量识别　；参考：《北京邮电大学》2016年博士论文

【摘要】：随着电信运营商的移动端入口逐渐被微信等社交类应用占领,运营商“管道化”日趋严重。运营商不断地为网络基础设施投资扩容,却很难分享到网络优化带来的收益,陷入“增量不增收”的窘境,跨界竞争的局面促使运营商寻找新的价值增长点。随着大数据时代的到来,利用大数据技术实现价值增值是电信运营商结合自身的数据优势所提出的重要策略。电信运营商是以提供电信服务为基础的企业,大数据策略的最终的落实要体现在为用户提供更优质的电信服务上,如:提供按需服务,精准营销等,而精细化网络流量识别是实现这些目标的前提。由于当前网络中Web流量的占比最高,并且网络端采集的Web流量包含了较多有用信息,有利于运营商了解用户以及网络状态。因此,本文针对固定网络与移动互联网,以精细化流量识别为中心,以海量Web流量数据为基础,利用Web流量的行为特征,分别从网站、应用、操作系统、设备、网络安全六个维度对Web流量进行精细化识别与分析。本文主要的研究内容与创新包括:(1)固定网络中的Web流量的精细化识别与分析Top-k网站流量查询有利于运营商了解网络状况以及网络资源的优化,然而,由于网络中的未知Web流量的存在,导致查询结果与真实结果有较大的差距。为了缩小差距以便反映网络真实的状况,需要将未知Web流量与网站关联起来。本文采用时序二部图来描述客户端与服务器端的HTTP交互过程。基于时序二部图并利用Referer字段以及HTTP流记录之间的时间关系来构建识别未知Web流量的概率模型。针对该模型,用三种不同方法来获得Top-k个流量最大的网站,结果显示这三种方法都能极大地缩小网站流量真实值与查询值之间的差距。我们发现视频网站的未知IP以及未知流量的占比通常要高于以文本服务为主的网站,具体来说,我们发现流量值排名前三的视频网站中未知流量的占比超过90%。除此之外,本文首次将不确定性数据的Top-k查询方法应用到网络流量分析领域。(2)移动互联网中Web流量的精细化识别与固定网络不同,移动互联网中广泛使用App的方式访问互联网。因此,移动互联网中Web流量精细化识别的目标是将流量与相应的App进行关联。目前,DPI是App识别的主要方法,然而,由于用来标识应用的特征字符串是由App的开发团队设定的,没有按照统一的规则进行编码,直接采用该方法仅能获得App的字符串特征,而不能得到直观的App名称。因此,应用识别的研究局限于应用特征字符串的提取。我们提出了一种新的应用识别方法,该方法能根据模糊的或不完整的用户代理特征字符串识别应用名称。该识别方法分为三步:首先,从HTTP请求报文中获得UA特征;然后,从互联网中获取该UA对应的特征文本;最后,对特征文本进行分析进而识别应用名称。(3)移动互联网中智能手机用户的行为分析操作系统及设备型号是人们在购买智能手机时考虑的两个重要因素。不同类型的移动设备吸引不同类型的人,而不同类型的人使用手机的方式是不同的。因此,从这两个维度进行研究可以揭示不同型号智能手机的流量特征以及不同类型的人使用手机的行为特征。基于一个完整计费周期的数据,我们从操作系统维度以及设备型号维度分析了智能手机的流量特征以及用户使用智能手机的特征,并得到一些有意义的结论。例如:Android系统的手机消耗的流量的平均值是iOS的1.5倍;不同型号的iPhone智能手机每一天的流量平均值差距在5%以内,而不同型号的Android智能手机流量差距可高达200%(如:小米3与小米Note);相对于上班时间,人们在假期时更多地使用智能手机;一周之内70%的用户使用的应用数少于10个;10%的应用消耗了总流量的98%,而剩下的90%的应用仅消耗总流量的2%。这些测量结论为电信运营商的差异化计费策略以及网络资源分配提供了依据。(4)移动互联网中恶意软件流量识别与分析随着移动互联网向社会、经济、文化等各个领域的渗透,网络安全问题离用户越来越近。随着技术的发展,新型的恶意软件在网络中层出不穷。若能在网络中识别这些恶意软件产生的流量并对这些流量加以限制或者对用户提供预警,便能降低用户的损失,促进网络环境健康发展。XcodeGhost是出现在iOS中的一种新型恶意软件,2015年9月17日报道时已导致了大量用户隐私数据的泄露,但对于XcodeGhost仅有少量的基于源代码的研究。本文基于232天北方某省共计259万余iPhone用户上网数据,采用DPI方法识别XcodeGhost恶意软件产生Web流量。经过对这些Web流量进行分析,我们得出了一些有意义的结论,譬如:受XcodeGhost恶意软件感染的iPhone设备比例高达60%;我们在网络端检测到了 842个受感染的应用,许多流行应用中的某些版本也受感染,如:微信、铁路12306、嘀嘀打车、保卫萝卜等等。除此之外,我们还提出来一个指数衰减模型来描述该恶意软件在网络中消退的过程。
[Abstract]:As the mobile terminal entrance of telecom operators is gradually occupied by social classes such as micro - trust , operators are becoming more and more serious . With the advent of large data times , it is difficult to share the benefits of network optimization , which is helpful for operators to find new value growth points . In order to narrow the gap so as to reflect the real situation of network resources , it is helpful for operators to find new value growth points . The invention provides a new application identification method , which comprises the following steps : firstly , acquiring UA characteristics from an HTTP request message ; ( 4 ) The identification and analysis of malware traffic in mobile Internet is becoming more and more close to users . With the development of technology , new types of malware are becoming more and more close to users . With the development of technology , new types of malware are more and less developed in the network . With the development of the technology , the new type of malware can reduce the user ' s loss and promote the healthy development of the network . XcodeGhost is a new type of malware that appears in iOS .
【学位授予单位】：北京邮电大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP393.06

【参考文献】