基于通联日志的用户行为分析系统设计与实现

发布时间：2020-09-02 19:53

　　随着网络流量的爆炸式增长,越来越多的研究基于网络流进行分析。网络流的分析对于提升网络服务质量、改善网络管理具有重要的意义。本文设计并实现了基于通联日志的用户行为分析系统完成对通联日志格式的网络流分析。系统实现了三个功能:网络地址标定、用户行为分析、服务器状态监测。具体来说,系统主要包括如下几个部分:1.设计并实现了网络地址标定模块。基于通联日志中客户端与服务器的通联信息差异,本文设计并实现了网络地址标定模块。该模块通过提取通联日志的网络指标,以端口、上下行字节、会话数量、活跃信息为依据进行客户端网络地址和服务器网络地址的标定。系统以Hadoop搭建分布式环境、以MapReduce为分布式计算引擎、以HDFS和HBase为底层数据存储框架,完成了对通联日志的聚合、统计、标定操作,实现网络地址的标定功能。2.设计并实现了用户行为分析模块。本文在考虑骨干网用户数量众多的情况下,提出基于活跃时间分布的群体划分算法,以群体中心点划分群体,通过计算用户的活跃时间分布向量与中心点向量之间的欧式距离,对用户分群,从而发现不同活跃时间分布的用户群体。另外,本文对客户端用户的业务使用偏好与时间进行关联分析,计算出用户在不同时段的业务使用模式,以用户的业务使用模式进行群体划分,从而为针对不同群体用户进行定向营销提供决策。3.设计并实现了服务器状态监测模块。通过观察通联日志,提取出能描述服务器状态的状态指标,本文采用基于时间窗口的指标融合算法,对服务器每个时间窗口的服务状态进行计算,发现服务状态异常的时间窗口,从而检测出服务器是否正常服务。系统设计并实现各个模块完成对通联日志的处理与分析。实现对通联日志的网络地址标定功能;对用户基于活跃时间分布和业务使用偏好的群体性划分分析；对服务器基于时间窗口的状态监测分析。最后对各个功能进行了实验测试与分析。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.06

【相似文献】