基于搜索数据的用户画像模型研究

发布时间：2020-03-30 21:48

【摘要】：互联网在为我们带来便利的同时,也带来了不容小觑的信息安全问题。近年来,用户信息泄露的事件频繁发生,这不仅涉及到用户的个人隐私,更涉及到企业、国家以及政府机构的战略安全问题。为此,用户越来越不愿意将自己的真实信息暴露给第三方平台。搜索企业更是很难获取到用户的属性、喜好等数据,但用户基本属性及喜好数据对于搜索领域的广告投放来说又至关重要。搜索企业能获取到用户最直接的数据便是用户搜索数据,这些丰富的用户搜索数据可以充分刻画用户的基本属性和喜好,是用户所关注事物的真实表现。用户的属性、喜好可以通过用户画像进行刻画,用户画像是企业对某个用户或某类用户进行个性化推荐的基础,蕴含着巨大的商业价值。基于上述背景,本研究借助2016年CCF大数据与计算智能大赛中20w搜狗用户的搜索数据展开研究,首先介绍了搜索领域广告投放的发展,从搜索数据的短文本分析和用户画像两个角度出发,梳理了相关理论和关键技术,提出了基于搜索数据的用户画像研究框架;其次提出了基于Doc2Vec文档特征、TF-IDF特征和人工特征三个维度的搜索词混合特征模型,在提取TF-IDF特征时,参考现有研究思路,采用Word2Vec词向量加权的方法对TF-IDF算法进行改进,并通过实验,验证了算法改进的有效率;然后分析了影响搜索企业广告投放的主要因素,选取了对广告投放影响较大的两个研究点,用户基本属性和用户喜好,提出了用户画像标签和基于搜索数据的用户画像构建流程;接着将混合特征作为用户画像基本属性模型的输入,使用多种机器学习算法进行模型训练,并基于模型融合的思想得到用户画像基本属性模型;然后将降维后的混合特征与用户基本属性合并,使用K-Means聚类算法,参考新浪微博的话题标签,构建用户画像喜好模型;最后通过模型应用,证明模型的有效性。本研究根据每个阶段的研究成果对搜索领域的广告引入、广告投放等方面提出了相应的建议。目前,游戏、电商、美食、搜索等领域的应用都会产生大数据量的文本信息,并且有非常大的占比都是短文本信息。本研究提出的混合特征模型和用户画像模型既可以解决短文本数据特征提取和搜索领域用户画像模型构建的问题,也可以将其推广到用户属性预测等领域。
【图文】：

实验过程,大全,周公,百合

表 3-4 分词结果对比不同分词工具周公解梦大全查询百合网首页JIEBA 周公解梦大全查询百合网首页THULC 周公解梦大全查询百合网首页NLPIR 周公解梦大全查询百合网首页从表 3-5 中可知，JIEBA 分词器在教育水平、年龄和性别三个属性的准确率均是最高的，其次是 THULC 分词器。因此，本研究使用了分词效果最好的JIEBA 工具进行分词。表 3-5 三种分词工具的结果准确率对比分词工具教育水平年龄性别平均成绩JIEBA 58.93% 57.38% 68.92% 61.74%THULC 58.56% 57.98% 68.64% 61.73%NLPIR 57.93% 57.95% 67.28% 61.05%图 3-1 为实验过程中打印出来的部分 JIEBA 分词结果，表 3-6 是整理后的原始搜索数据与 JIEBA 工具的分词效果。以“腐竹怎么做好吃法大全”为例，JIEBA 分词结果为“腐竹、怎么、做好、吃法、大全”，结果较符合常识。

模型性,实验过程,标签,缺失

腐竹怎么做好吃法大全腐竹怎么做好吃法大全王侯将相宁有种乎中乎是什么意思王侯将相宁有种乎是意思高考后会考过了什么时候发毕业证高考后会考过了什么时候发毕业证微微一笑很倾城两人在第几集见面微微一笑很倾城两人在第几集见面服装设计人体模特画法服装设计人体模特画法3.2.3 缺失样本处理本研究在分析原始样本数据时，发现各属性和任意属性缺失的样本占比如表 3-7 所示。为了更充分的挖掘用户的搜索词信息，本研究对训练数据集中标签为 0，即缺失标签的样本进行了预测。本研究在对比了几种分类器的优缺点后，使用 JIEBA 分词工具对搜索词进行分词，然后使用 LR 模型训练出分类器，对缺失标签的样本进行预测，从而补全缺失值。在对空缺的标签进行填充时，本研究使用 sklearn.feature_extraction.text 包中的 TF-IDFVectorizer 方法，，提取训练数据集用户搜索词的 TF-IDF 特征。本研究考虑到实验机器性能的问题，设置参数 min_df=3，max_df=0.95，表示建立单词表时会取某单词出现个数大于 3 或词频小于 0.95 的词。最终得到了一个 10w*1699133 的矩阵。
【学位授予单位】：武汉理工大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：F274

【相似文献】