基于主题模型与变分自编码的情感对话生成技术研究

发布时间：2021-01-30 20:10

　　人机对话作为人工智能领域的核心技术之一,以其广阔的应用前景以及诱人的商业价值备受学术界和工业界的瞩目。从早期的Eliza和Parry,到类似Siri的智能个人助手,再到如今的聊天机器人,如小冰,人机对话系统不断地改变着人们的生活。聊天机器人,旨在通过人机交互中自然、流畅且多样的对话以满足人类的交流以及情感陪伴的需求。因此,一个出色的聊天机器人应该同时具备智商和情商。然而,现有的对话系统的研究工作主要聚焦于改善句子的质量,对于情感的关注还相对较少。因此,本文主要关注情感对话生成,该任务旨在生成蕴含情感且语义流畅的回复,从而实现更加自然的人机交互。近年来,随着深度学习技术的流行,研究人员逐渐采用seq2seq生成模型来实现对话系统,而不仅是依赖基于模板和检索等方式。因此,本文分别将seq2seq模型与主题模型和变分自编码器相结合来提高回复的相关性和多样性,并且在此基础上融合情感因素,使得模型能够生成蕴含情感的回答。本文的主要工作如下:1)为了生成蕴含情感且与输入内容相关的回复,本文将情感因素和主题信息同时与seq2seq模型相结合,构建了一个基于注意力机制的主题增强情感对话生成模型（TE-... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：62 页

【学位级别】：硕士

【部分图文】：

LsTM结构示意图t’3]

?ｙｓ??图２．４注意力机制［４９】??引入了注意力机制的ｓｅｑ２Ｓｅｑ模型如图２．４所示，其中编码器采用了一个双向??ＲＮＮ，解码器则加入了注意力机制。由２．１．２节的内容可知，在模型的解码阶段，??解码器每一个时刻的隐藏状态的计算都需要上下文语义编码向量ｃ。在传统的??ｓｅｑ２Ｓｅｑ模型中，只用编码器最后一个时刻的输出作为语义编码向量ｃ，且保持固定??不变，但加入注意力机制之后，每一时刻的ｃ都将各不相同，从而能保证在解码的不??同时刻，输入序列中的每一个词语对当前时刻解码的词语的贡献不同。在时刻ｉ，中??间语义向量ｑ可由编码器输出的隐藏层向量序列进行加权求和得到，??如公式２．１３所示。??Ｃｊ?＝?Ｙ７ｊ＝＼?＾ｉｊｈｊ?（公式?２＿１３）??其中，＼的权重的计算方法如公式２．１４所示。??ａ．．?＝?ｅｘｐ（Ｔ，（ｈＪ－，ｓ，＿１））?（公式?２１４）??１１?ＳＬｊｅｘｐＣｒｉＣｈｋ．ｓ

Ｔｗｉｔｔｅｒ?ＬＤＡ模型的主要思想是每一个文本都仅仅属于一个主题，并且文本中??的每一个词是一个背景词或者是该文本所属主题的主题词。Ｔｗｉｔｔｅｒ?ＬＤＡ的模型结??构如图３．２所示。我们假设微博中一共具有Ｔ个主题，每个主题可以由词分布表示。??具体地，Ｔｗｉｔｔｅｒ?ＬＤＡ模型首先从表示整个数据集的主题分布的狄利克雷先验分布??Ｄｉｒ（ｃ〇中采样得到多元分布０。然后，从狄利克雷分布Ｄｉｒ（ｐ）中采样得到多元分布??２３??


本文编号：3009512