基于异构网络表示学习的App使用行为研究与应用
发布时间：2021-03-26 07:19
移动互联网智能手机时代,给人们的生活带来了极大便捷,网络用户对互联网服务也提出了更高的要求。分析并预测用户的App点击使用行为,不仅有助于提升网络服务质量,也有助于帮助用户快速启动所需要的App,节约时间成本。本文从运营商DP[流量数据入手,探讨移动用户行为的研究分析方法。本文的主要工作如下:（1）本文以运营商DPI流量为基础,构建了研究用户行为的网络指纹数据。并从网络指纹数据中构建用户-App-类别异构信息网络,提出了用于学习异构网络节点和元路径关系向量的HINE算法。HINE算法包含随机游走和神经网路学习部分,提出的三个随机游走策略能有效表示用户和App之间的行为偏好特性和不同子网络间的拓展关系。通过对App向量可视化分析以及在公开数据集上的实验,验证了HINE算法能有效学习网络节点的特征向量表示。（2）在网络表示学习的基础上,本文设计了移动用户的App点击行为预测模型,分别是多层感知机MLP和LSTM+Attention注意力机制的模型。MLP直接使用网络表示学习得到的用户和App向量表示,进行多层特征组合学习去预测用户此时使用此App的概率。LSTM+Attention模型针对...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
神经网络语言模型NNLM[4]
Ｍｉｋｏｌｏｖ提出的Ｗｏｒｄ２ｖｅｃ是近年来最受关注的神经网络语言模型，??Ｗｏｒｄ２ｖｅＣ去掉了前馈神经语言网络中的隐藏层，大大提高了训练词向量的速度。??如图２－２所示，Ｗｏｒｄ２ｖｅｃ包含两种不同的模型，一个是ＣＢＯＷ模型（Ｃｏｎｔｉｎｕｏｕｓ??Ｂａｇ?ｏｆ?Ｗｏｒｄｓ），另一个是Ｓｋｉｐ－ｇｒａｍ模型。ＣＢＯＷ模型利用窗口中间词的上下??文词来预测中间词的概率，Ｓｋｉｐ－ｇｒａｍ则是利用窗口中间词来预测其上下文的词。??由反向传播算法可知梯度更新时Ｓｋｉｐ－ｇｒａｍ是上下文的目标词均通过反向传播来??优化中间词，中间词的词向量多次更新学习，ＣＢＯＷ则是中间词通过反向传播??来平均地将梯度更新传给窗口上下文中的每个词，因此Ｓｋｉｐ－ｇｒａｍ要比ＣＢＯＷ??更耗时，但其效果要比ＣＢＯＷ模型好。??输入层?投影层?输出层?输入层?投影层?输出层??ｗ（ｔ－２）窗＾?ｗ（ｔ－２）??＼?／????????１?．?，????＼?／?ＢＢ??Ｗ（ｔ－ｌ）?＼?＼?求和?ａ?ｗ（ｔ－ｌ）???????１??麵?＼＼＼?顏?潑?｜＿??Ｊ??＞?ｗ（ｔ）?ｗ（ｔ）?－??
??阶特征和低阶特征的提取，模型结构如图２－５。??＋加法?一＾权值为１?「—?ｙ?输出ｇ??ｘ?内积?—普通链接????ｔ?Ｓｉｇｍｏｉｄ??＾Ｅｍｂｅｄｄｉｎｇ＾?／／??—ｉ－１??巧解层－－二會＇?入隐藏层；??ｒ???Ｆｉｅｌｄ?ｉ?Ｆｉｅｌｄ?ｊ?…?Ｆｉｅｌｄ?ｍ??图２－５?ＤｅｅｐＦＭ模型结构［４４］??图２－５中红色箭头神经元权重恒为１，训练过程中参数不更新，即直接将神??经元的值复制到最后一层，然后与最后一层的神经元一起运算。与Ｗｉｄｅ＆Ｄｅｅｐ??模型不同，ＤｅｅｐＦＭ共享相同的特征输入Ｅｍｂｅｄｄｉｎｇ向量。在Ｗｉｄｅ＆Ｄｅｅｐ模型??中，宽度、深度模型输入向量却并不相同，宽度模型部分包含了大量的二阶交叉??特征，使得模型输入的特征向量长度快速增加，模型的复杂性大大增加。??ＤｅｅｐＦＭ包含两部分一Ｄｅｅｐ神经网络部分和ＦＭ因子分解机部分。这两部??分共享同样的输入。对于特征ｉ，１＾表示一阶特征的重要性，隐变量Ｒ则是表示特??征ｉ与其它特征之间的关系。在ＦＭ部分Ｒ表示二阶特征，同时在Ｄｅｅｐ部分用于??提取高阶特征。所有的参数共同参与训练。ＤｅｅｐＦＭ模型的预测概率为夕二??ｓｉ沒ｍｏｉｄ（；ｙ＞Ｍ＋ｙｆｌＡＷ）其中夕ｅ?（０
【参考文献】：
期刊论文
[1]基于网络表示学习的个性化商品推荐[J]. 李宇琦,陈维政,闫宏飞,李晓明. 计算机学报. 2019(08)
[2]大规模复杂信息网络表示学习:概念、方法与挑战[J]. 齐金山,梁循,李志宇,陈燕方,许媛. 计算机学报. 2018(10)
[3]网络表示学习综述[J]. 涂存超,杨成,刘知远,孙茂松. 中国科学:信息科学. 2017(08)
[4]基于网络表示学习与随机游走的链路预测算法[J]. 刘思,刘海,陈启买,贺超波. 计算机应用. 2017(08)
[5]网络表示学习[J]. 陈维政,张岩,李晓明. 大数据. 2015(03)
硕士论文
[1]面向社会网络的表示学习方法与推荐技术研究[D]. 杜东舫.中国科学技术大学 2018
[2]基于DPI流量的大规模网络指纹系统的设计与应用[D]. 谭尧文.北京邮电大学 2018
[3]采用Node2Vec模型对网络特征表示方法研究[D]. 姚锐.南京大学 2018
[4]基于序列模式挖掘的移动应用使用预测研究[D]. 杨宇佳.浙江大学 2016
本文编号：3101206
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
神经网络语言模型NNLM[4]
Ｍｉｋｏｌｏｖ提出的Ｗｏｒｄ２ｖｅｃ是近年来最受关注的神经网络语言模型，??Ｗｏｒｄ２ｖｅＣ去掉了前馈神经语言网络中的隐藏层，大大提高了训练词向量的速度。??如图２－２所示，Ｗｏｒｄ２ｖｅｃ包含两种不同的模型，一个是ＣＢＯＷ模型（Ｃｏｎｔｉｎｕｏｕｓ??Ｂａｇ?ｏｆ?Ｗｏｒｄｓ），另一个是Ｓｋｉｐ－ｇｒａｍ模型。ＣＢＯＷ模型利用窗口中间词的上下??文词来预测中间词的概率，Ｓｋｉｐ－ｇｒａｍ则是利用窗口中间词来预测其上下文的词。??由反向传播算法可知梯度更新时Ｓｋｉｐ－ｇｒａｍ是上下文的目标词均通过反向传播来??优化中间词，中间词的词向量多次更新学习，ＣＢＯＷ则是中间词通过反向传播??来平均地将梯度更新传给窗口上下文中的每个词，因此Ｓｋｉｐ－ｇｒａｍ要比ＣＢＯＷ??更耗时，但其效果要比ＣＢＯＷ模型好。??输入层?投影层?输出层?输入层?投影层?输出层??ｗ（ｔ－２）窗＾?ｗ（ｔ－２）??＼?／????????１?．?，????＼?／?ＢＢ??Ｗ（ｔ－ｌ）?＼?＼?求和?ａ?ｗ（ｔ－ｌ）???????１??麵?＼＼＼?顏?潑?｜＿??Ｊ??＞?ｗ（ｔ）?ｗ（ｔ）?－??
??阶特征和低阶特征的提取，模型结构如图２－５。??＋加法?一＾权值为１?「—?ｙ?输出ｇ??ｘ?内积?—普通链接????ｔ?Ｓｉｇｍｏｉｄ??＾Ｅｍｂｅｄｄｉｎｇ＾?／／??—ｉ－１??巧解层－－二會＇?入隐藏层；??ｒ???Ｆｉｅｌｄ?ｉ?Ｆｉｅｌｄ?ｊ?…?Ｆｉｅｌｄ?ｍ??图２－５?ＤｅｅｐＦＭ模型结构［４４］??图２－５中红色箭头神经元权重恒为１，训练过程中参数不更新，即直接将神??经元的值复制到最后一层，然后与最后一层的神经元一起运算。与Ｗｉｄｅ＆Ｄｅｅｐ??模型不同，ＤｅｅｐＦＭ共享相同的特征输入Ｅｍｂｅｄｄｉｎｇ向量。在Ｗｉｄｅ＆Ｄｅｅｐ模型??中，宽度、深度模型输入向量却并不相同，宽度模型部分包含了大量的二阶交叉??特征，使得模型输入的特征向量长度快速增加，模型的复杂性大大增加。??ＤｅｅｐＦＭ包含两部分一Ｄｅｅｐ神经网络部分和ＦＭ因子分解机部分。这两部??分共享同样的输入。对于特征ｉ，１＾表示一阶特征的重要性，隐变量Ｒ则是表示特??征ｉ与其它特征之间的关系。在ＦＭ部分Ｒ表示二阶特征，同时在Ｄｅｅｐ部分用于??提取高阶特征。所有的参数共同参与训练。ＤｅｅｐＦＭ模型的预测概率为夕二??ｓｉ沒ｍｏｉｄ（；ｙ＞Ｍ＋ｙｆｌＡＷ）其中夕ｅ?（０
【参考文献】：
期刊论文
[1]基于网络表示学习的个性化商品推荐[J]. 李宇琦,陈维政,闫宏飞,李晓明. 计算机学报. 2019(08)
[2]大规模复杂信息网络表示学习:概念、方法与挑战[J]. 齐金山,梁循,李志宇,陈燕方,许媛. 计算机学报. 2018(10)
[3]网络表示学习综述[J]. 涂存超,杨成,刘知远,孙茂松. 中国科学:信息科学. 2017(08)
[4]基于网络表示学习与随机游走的链路预测算法[J]. 刘思,刘海,陈启买,贺超波. 计算机应用. 2017(08)
[5]网络表示学习[J]. 陈维政,张岩,李晓明. 大数据. 2015(03)
硕士论文
[1]面向社会网络的表示学习方法与推荐技术研究[D]. 杜东舫.中国科学技术大学 2018
[2]基于DPI流量的大规模网络指纹系统的设计与应用[D]. 谭尧文.北京邮电大学 2018
[3]采用Node2Vec模型对网络特征表示方法研究[D]. 姚锐.南京大学 2018
[4]基于序列模式挖掘的移动应用使用预测研究[D]. 杨宇佳.浙江大学 2016
本文编号：3101206
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3101206.html
