神经网络序列生成模型的研究

发布时间：2020-05-26 18:51

【摘要】：随着深度学习的发展以及各项自然语言处理技术的提高,神经网络序列生成模型已经成为了研究热点并得到了广泛的应用,比如机器翻译,自动文本摘要,自动生成字幕等。近几年,序列生成模型已不局限于自然语言处理任务,也逐渐被引入推荐领域。本文对现有的神经网络序列生成模型进行了调研和分析,并分别对文本序列生成和行为序列生成中存在的几个问题展开研究和改进。本文的工作可以总结为以下两个部分:1、设计并实现了序列生成模型训练的曝光偏差正则训练框架。本文分析了主流神经网络序列生成模型存在的训练和测试阶段输入分布不一致的问题,提出引入曝光偏差正则项使模型在测试阶段具备更强的泛化能力。同时,为了加快模型的收敛,又提出寄生学习和课程学习两种辅助训练方式辅助模型在曝光偏差正则训练框架下更好地完成训练。2、设计并实现了基于时间窗的批处理训练方式和时间敏感循环神经网络用于提高行为序列生成模型的训练效率和效果。行为序列不同于文本序列,具有序列长度方差大和时间间隔不等距的特点。本文为了适应行为序列的特点对序列生成模型提出相应的改进。改进主要有两点:一是针对行为序列长度方差大的问题,提出基于时间窗的批处理训练方式提高模型的训练效率;二是针对行为序列时间间隔不均匀的问题,提出时间敏感循环神经网络,利用时间间隔信息对用户的长短期兴趣进行更好地平衡。最终将序列生成模型应用于推荐系统中的用户行为序列建模,作为召回模型。
【图文】：

序列,模型结构,多头,计算单元

ｈ［邋＝邋ｖ邋（ｗｌ邋ｈ＼＾，＋逦（２－２２）逡逑整个ＣｏｎＳ２Ｓ模型结构图如图２－２所示，可以看到采用ＣＮＮｓ的结构使得模逡逑型在训练阶段能够进行并行计算。Ｃ0ｎｖＳ２Ｓ结构是为序列到序列的生成任务所设逡逑计的，也采用了如２．１．２所述的编码器－解码器的结构形式，其中编码器和解码器逡逑都是由上述的卷积结构实现。不同的是，解码器每一层的卷积结果／Ｉ丨都会分别和逡逑编码器编码得到的输入表示向量（Ｓｌ，做注意力计算，得到的输入表示向逡逑量ｃ／会和之前的卷积结果ｈ丨相加得到新的输入给下一层卷积，，这样做的好处是，逡逑模型在进行注意力机制计算的时候能够考虑到之前已经注意过的词。逡逑｛■＾，心，．．．，＾｝邋编码器输出逡逑Ｉ逡逑逦逦注意力机制逡逑４逦．逡逑…ｈｔ＿２邋ｈｔ＿ｉ邋逦＾０逦■■■邋ｃｔ－２邋ｃｔ－＼逡逑＞邋ｔ逦—逡逑Ｉ￣０逦Ｉ￣０逦输出层逡逑非线性计算逦＾干逦，，逡逑－□□邋ｍ逡逑卷积层逡逑嵌入层逦－邋ｒ￣ｉ邋ｒ￣ｌ逡逑ｙ0逦ｙ，－２邋ｙ，－ｉ逡逑图２－２邋ＣｏｎＳ２Ｓ模型结构图【５］逡逑在ｔｒａｎｓｆｏｒｍｅｒ中引入了自注意力机制

序列,注意力,多头,模块结构图

ｔｒａｎｓｆｏｒｍｅｒ的自注意力子层中，Ｑ，Ｋ，Ｖ的值是一致的，比如输入一个句子，句逡逑子中的每个词都要和该句子中的所有词进行注意力计算，如此能够更好地捕获句逡逑子的内部结构。值得注意的是，如图２－３所示，在ｔｎｍｓｆｏｒｍｅｉ■的解码阶段，注意逡逑力计算模块还增加了掩码计算，以保证与Ｑ进行注意力计算的Ｋ都来自于前序逡逑序列。多头自注意力子层指的是要进行多次的注意力计算，如图２－３中的右半部逡逑分，通过多次计算提取出不同的信息，同时也允许模型在不同的表示子空间里学逡逑习到相关的信息。逡逑注意力计算模块逦多头注意力模块逡逑ｔ邋■逦ｔ邋■逡逑内积逦线性变换逡逑ＳｏｆｔＭａｘ逦向屋拼接逡逑掩码邋１逡逑Ｔ逦；邋（７逦逦：邋：＞＞逡逑按比例缩小值逦＼．ｉ注意力模块！逡逑逦１逦逦Ｖ＂逡逑内积逦｜线性ｉ换｜丨线性ｋ换１１线性变换Ｉ逡逑ｔ邋ｔ逦！邋ｆ邋ｔ逡逑Ｑ邋Ｋ逦Ｖ逦Ｑ逦Ｋ逦Ｖ逡逑图２－３自注意力模块和多头注意力模块结构图［２９］逡逑２？３本章小结逡逑本章主要是为了本文的研究工作做铺垫，介绍相关的理论知识。主要内容分逡逑为两部分：逡逑１、
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183

【相似文献】