基于DNS日志的移动互联网分析

发布时间：2019-10-04 07:14

【摘要】：移动互联网,就是将移动通信和互联网二者结合起来,成为一体。随着宽带无线接入技术和移动终端技术的飞速发展,人们迫切希望能够随时随地乃至在移动过程中都能方便地从互联网获取信息和服务,移动互联网应运而生并迅猛发展。而伴随着智能手机性能提升及移动互联网发展,越来越多网民开始使用手机接入互联网,因此对移动互联网的分析显得愈发的重要。 域名系统(英文：Domain Name System, DNS)是因特网的一基本项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。无论是传统的PC互联网,还是现在呈爆发式发展移动互联网,几乎都是基于IP网络来实现信息通信服务,而这些服务都要通过域名访问来定位相应的网络资源。而作为记录了丰富移动互联网访问信息的DNS日志,当然可以被用来对移动互联网进行适当地分析,并在此分析的基础上进而对移动互联网的访问模式等进行研究。 本文基于DNS日志,对移动互联网进行了分析,主要的研究工作包括： 首先,介绍了如何通过运用HDFS(Hadoop Distributed File System)和Hadoop分布式编程手段,从现有的静态报文中去存储和分析海量移动互联网DNS日志的方法。 其次,利用对基础DNS日志信息进行预处理之后得到的数据进行统计规律分析。主要分析对象为,查询域名、请求查询域名的所属ISP((Internet Service Provider,互联网服务提供商)、服务器端IP、DNS查询类型、rCode等等。得出在一天之中,用户对移动互联网访问的行为表现有别于传统PC互联网一天的行为表现的结论；得出域名的访问量呈现出28原则,也即帕累托法则；而用户的查询量分布则呈现幂指数分布。 再次,运用图论建模,并采用矩阵乘法的思想,运用并行分布式框架Map/Reduce去解决DNS域名全连通问题。在这个部分中,我们借鉴了三种不同的矩阵乘法思想,分别实现了三种全连通的办法。
【图文】：

Rack 2图3-2块是如何从其他节点上复制的3.2. DNS日志预处理3.2.1. DNS日志预处理简介当海量DNS F1志从报文装置中获取，再上传到DNS R志分布式存储系统HDFS,通过Map/Reduce编程预处理DNSQ喼镜玫紻NS重要信息，，再通过基础统计分析、全连通方法实现以及改进后的聚类方法模式挖掘则可以得到相应的数据分析结果。卜一图为DNS F1志数据预处理所在的整个分析环节。报文懫集装H DNS里耍倍息——?数据分析手段I 2 I ‘ ± ^ I DNS H ,iU DNS H志 教据分析妙m存储系统一预处理 乫分析-n来图3-3 DNS日志数据预处理所在环节示意图预处理的主要目的是从原始的海量DNS报文中获取和移动互联网用户关系染17 ！；上
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.01;TN929.5

【参考文献】

相关期刊论文 前3条

1 张骏;;一种基于MapReduce并行框架的大规模矩阵乘法运算的实现[J];计算机应用与软件;2012年06期

2 胡海波;王林;;幂律分布研究简史[J];物理;2005年12期

3 魏晓;;帕累托法则[J];中国工会财会;2009年10期

本文编号：2545814