基于行为相似性的网络用户识别系统设计与实现

发布时间：2020-09-29 20:50

　　社交网络用户身份识别是网络用户研究的一个重要领域,在跟踪用户行为、检测非法活动中发挥着重要的作用。然而在现有的用户识别方法中,用户信息的收集存在一定困难,因此大部分方法属于课题研究,处理数据量较少,难以用于实际工程领域。现有方法的识别准确率有待提高。因此对网络用户识别算法进行研究,设计实现一套能够应对大规模数据处理的高精度的网络用户识别系统成为了一个重要的研究方向。本文对网络用户识别中的Learning from Positive and Unlabled Example(PU_learning)算法进行了研究和改进,并设计实现了一套基于行为相似性的网络用户识别系统。本文所做的工作及取得的成果如下:(1)在充分调研网络用户识别、机器学习等相关算法和技术的基础上,理清现有方法与技术的不足,重点研究了半监督学习领域的应用。(2)改进了 PU_learning算法。从时间和空间的角度出发设计用户行为特征,将传统的PU_learning算法与GBDT(梯度提升决策树)结合,以迭代训练的方式逐步提高模型精度,用于识别跨平台的网络用户。实验结果表明,改进后PU_learning算法的准确率、召回率分别有1%、3%的提升。(3)设计实现了基于行为相似性的网络用户识别系统。从原始流量捕获出发,设计实现了流量捕获、用户信息匹配、模型训练与预测模块,重点解决了用户信息匹配模块中的HTTP流还原问题和模型训练与预测模块中ETL特征提取和模型训练精度提升问题。在大数据背景下,引入了 Hadoop和Hive作为数据的处理平台与工具,保证了系统高效稳定的运行。(4)对系统各功能模块进行测试。结果表明,基于行为相似性的网络用户识别系统功能稳定,识别结果准确。用户信息匹配过程中流量解析速率达到1.6Mbit/s左右,ETL能在一小时内处理两个千万数据级别的网络平台特征数据提取。本文对基于行为相似性的网络用户识别系统设计与实现过程中存在的问题进行了总结分析,提出了改进思路与方法,对后续工作提出了展望。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.0
【部分图文】：

分离平面,样本

基于行为相似性的网络用户识别系统算法设计，所占比例太大，样本比例严重不均衡，这两个方面成严重的影响。因此，若采用传统的ＰＵＪｅａｍｉｎｇ算样本，一方面本身正样本数量远小于无标签样本，会引入更多噪声；另一方面朴素贝叶斯算法在小规模网络用户识别所面临的海量数据，会存在较大偏差。逡逑用于分类的本质，可以理解为就是在空间中构造一以将越多的正负样本分离开，就认为这个分类器的ｙ邋．逡逑

数据分布,换行,特征值,样本

图３－５实验数据格式逡逑特征值之间以ｔａｂ隔开，不同样本换行。数据格式适应于Ｐｙｔｈｏｎ相关机器函数库对数据文件的读取支持。逡逑．２实验过程与结果逡逑在训练数据进入模型之前，需要对其做一些处理以保障结果准确性。主要个方面的处理。逡逑（１）在无标签样本的提取过程中，由于之前的处理过程，包括流量的采集，逡逑ＴＰ流重组，正则匹配写入Ｈｉｖｅ表，存在按照ＩＰ分组或者构建链表等相关，所以样本数据在Ｈｉｖｅ表中按照ＩＰ存在一定顺序进行排列。为保证训练样于ＩＰ分布均匀，分布区域更加广泛合理，在提取无标签样本参与训练的过，采用随机抽取的思想，利用ｓｈｕｆｆｌｅ函数过程从全排列中得到随机数组，数组下标从无标签样本中提取相应下标的数据，尽量保证数据分布均匀，具表性。逡逑（２）训练样本数不均衡，正样本较少而无标签样本数目很大。需要确定训练过程中合适的正样本和无标签样本的比例。一般而言，机器学习的正负

准确率,召回率,样本,回归树

图３－７正样本各项指标逡逑因此，实验中以１：３的比例提取训练样本。首先，所有未标记的样本被视本，并使用ＧＢＤＴ直接进行训练。正负样本的准确率和召回率如表３－１逦表３－１邋ＧＢＤＴ运行指标结果逦逡逑一类别邋准确率｜召回率｜邋Ｆ１指数逡逑０逦０．９３逦０．９７逦０．９５逡逑逦１逦０．８９逦０．７８逦０．８３逡逑ＧＢＤＴ每一棵子树虽然都为回归树，但设定阈值对回归值进行划分就可以树改为分类树，默认阈值为０．５。第一步ＧＢＤＴ模型为分类模型，得到有分类结果，即１或0，邋１代表判定为正，0代表判定为负。准确率召回标的统计也是基于将所有无标签样本视为负样本的基础，这里的0，实际的是无标签样本。由于实验的目的是获取属于同一用户的帐户对，因此此准确率和召回率实际意义其实只是一定程度上帮助衡量分类器的好坏。正２５逡逑

【相似文献】