基于深度学习的商品推荐系统的研究与实现
【学位单位】:北京邮电大学
【学位级别】:硕士
【学位年份】:2019
【中图分类】:TP391.3;TP181
【部分图文】:
的维度很大时,query和key点乘的结果通常会很大,其会对应到softmax函??数低梯度的区域,导致模型无法得到有效的训练。??如图2-2所示,Transformer模型在编解码器中并不只采用单一的点乘注意??力。实验表明在机器翻译时,Transformer可以从并行跑多个点乘注意力中获得较??高的收益,Transformer将其称为多头注意力。多头注意力首先将Q矩阵、K矩??阵与V矩阵进行多次线性映射;然后分别将每次映射后得到三个矩阵进行点乘??注意力操作;最后将多次点乘注意力的结果进行拼接后再进行线性映射,最终得??到多头注意力的输出,如公式2-2、2-3所示。??10??
t?t??Q?K?V??图2-1点乘注意力示意图??点乘注意力之所以在query和key点乘之后进行放缩,是因为当query和key??的维度很大时,query和key点乘的结果通常会很大,其会对应到softmax函??数低梯度的区域,导致模型无法得到有效的训练。??如图2-2所示,Transformer模型在编解码器中并不只采用单一的点乘注意??力。实验表明在机器翻译时,Transformer可以从并行跑多个点乘注意力中获得较??高的收益,Transformer将其称为多头注意力。多头注意力首先将Q矩阵、K矩??阵与V矩阵进行多次线性映射;然后分别将每次映射后得到三个矩阵进行点乘??注意力操作;最后将多次点乘注意力的结果进行拼接后再进行线性映射,最终得??到多头注意力的输出
?问题。??如图2-5所示,LSTM模型主要以内存块(Memory?Block)结构为基础构建;??每个内存块包含一个细胞状态(Memory?Cell)和三个控制门。细胞状态起着对??全局信息进行存储的功能,它记忆了过去时间步长的历史信息和当前时间步长的??输入信息。三个控制门分别为输入控制门(Input?Gate?)、遗忘控制门(Forget?Gate)??与输出控制门(Output?Gate)。控制门起到了对相应编码信息进行选择的功能,??它们采用sigmoid函数作为控制门的激活函数,因此激活后的取值范围是[0,1]。??控制门是通过将激活函数作用到相关的信息值上,实现信息选择的:当激活值为??1时,表示放行全部的信息;而当激活值为0时,表示阻塞全部的信息。??\f?/?,??V_^Output?Gate?a??\????\?“??V??'^^^^Forget?Gate??I??\?y??y?Input?Gate??I?r?)??Block??I?/\\ ̄ ̄??图2-5?LSTM内部结构示意图??公式2-11、公式2-12、公式2-13分别是LSTM模型中输入门、输出门与遗??忘门的计算方式。而公式2-14是根据当前时间步长的输入产生当前网络节点信??息。公式2-15是通过输入门来选择当前网络节点的信息,并通过遗忘门来过滤??细胞状态中历史过去信息
【相似文献】
相关期刊论文 前10条
1 仲兆满;管燕;胡云;李存华;;基于背景和内容的微博用户兴趣挖掘[J];软件学报;2017年02期
2 苏惠明;;一种基于用户兴趣的个性化建模方法[J];内燃机与配件;2017年04期
3 王占;林岩;;基于信任与用户兴趣变化的协同过滤方法研究[J];情报学报;2017年02期
4 邓娟;;用户兴趣变化下的协同过滤最优推荐仿真[J];计算机仿真;2016年08期
5 徐则阳;刘博;;百度贴吧用户兴趣分类[J];福建电脑;2014年11期
6 石伟杰;徐雅斌;;微博用户兴趣发现研究[J];现代图书情报技术;2015年01期
7 杨绚然;;《解忧杂货店》走进现实[J];时代报告;2016年12期
8 孙雨生;刘伟;仇蓉蓉;黄传慧;;国内用户兴趣建模研究进展[J];情报杂志;2013年05期
9 杨杰;陈恩红;;面向个性化服务的用户兴趣偏移检测及处理方法[J];电子技术;2009年11期
10 陈圣兵;李龙澍;纪霞;;多层次用户兴趣模式的动态捕捉[J];计算机工程与应用;2009年36期
相关博士学位论文 前10条
1 徐扬;基于用户兴趣挖掘的个性化推荐方法研究[D];山东大学;2018年
2 李铁;面向大规模电商评论的情感分析与兴趣挖掘研究[D];电子科技大学;2018年
3 郭岩;网络日志中用户兴趣的挖掘及利用[D];中国科学院研究生院(计算技术研究所);2004年
4 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院(计算技术研究所);2005年
5 马力;基于聚类分析的网络用户兴趣挖掘方法研究[D];西安电子科技大学;2012年
6 刘淇;基于用户兴趣建模的推荐方法及应用研究[D];中国科学技术大学;2013年
7 梁政;面向在线社交网络舆情的信息传播分析关键技术研究[D];国防科学技术大学;2014年
8 张召;在线论坛用户兴趣图谱发现与个性化信息推荐[D];华东师范大学;2012年
9 陈浩;Web搜索的用户兴趣与智能优化研究[D];中南大学;2012年
10 李洋;社会媒体信息推荐关键技术研究[D];哈尔滨工业大学;2017年
相关硕士学位论文 前10条
1 陈鹏达;基于深度学习的商品推荐系统的研究与实现[D];北京邮电大学;2019年
2 刘奇;基于信息扩展和信任感知的微博推荐方法[D];河北大学;2019年
3 张雄涛;融合用户兴趣和混合估计的微博检索模型研究[D];河北大学;2019年
4 徐佳艺;基于用户兴趣主题模型的交友推荐系统的设计与实现[D];浙江工业大学;2019年
5 窦冲;基于用户兴趣和信任关系的机会网络路由算法研究[D];陕西师范大学;2018年
6 李梦雪;基于交互的移动用户兴趣发现系统的设计与实现[D];北京交通大学;2018年
7 朱凯歌;面向个性化服务的用户兴趣挖掘方法研究与实现[D];北京交通大学;2018年
8 张灵菡;基于社会化标注的用户兴趣挖掘及其个性化推荐研究[D];杭州电子科技大学;2018年
9 李颖;基于微博用户兴趣的个性化广告推荐系统的设计与实现[D];南京理工大学;2018年
10 胡建洪;基于上下文感知的移动新闻推荐研究与实现[D];南京理工大学;2018年
本文编号:2865789
本文链接:https://www.wllwen.com/jingjilunwen/dianzishangwulunwen/2865789.html