基于PAD情感状态模型的对话生成研究

发布时间：2021-06-21 08:00

　　在开放域对话生成系统中,Seq2Seq模型取得了不错的效果。但是,由于Seq2Seq模型没有着重建模情感信息,因而该模型生成的回复语句往往在情感上与源语句不太匹配。为了在对话系统中引入外部情感信息进而引导其生成情感合适的回复语句,我们将基于PAD情感状态模型的PAD情感向量引入Seq2Seq模型并取得了比传统Seq2Seq模型更好的效果。“PAD情感状态模型”是用以描述和度量情感状态的一种心理学模型,它包含三个数值型维度:愉悦度、激活度和优势度,理论上可以利用这三个维度表示所有的情感状态。在本文中,首先,我们根据PAD情感向量词典赋予每一个词语一个三维的PAD情感向量,该向量代表了词语的情感信息,然后,将词语的PAD情感向量和词向量一起作为编码器的输入进行“联合编码”,这为Seq2Seq模型增加了额外的情感信息。其次,为了解码器能够在解码阶段有选择性地“关注”上下文的内容信息和情感信息进而生成情感合适的回复,本文提出“联合注意力机制”,包括“内容注意力机制”和“情感注意力机制”。“情感注意力机制”基于PAD情感向量,它可以在解码时有选择地“关注”并充分利用源语句中词语的PAD情感向量包... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

图１．２开放域对话系统分类??［７］一“”

硕士学位论文??ｖＭｊｊＷ／Ｊ?ＭＡＳＴＫＲ?Ｓ?ＴＨＥＳＩＳ??ＣＢＯＷ是基于词语的上下文来预测当前词语（计算其出现的概率）。它与前馈??神经网络语言模型（Ｆｅｅｄｆｏｒｗａｒｄ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅ丨）｜２８］类似，但将其中??的非线性隐藏层（Ｎｏｎ－ｌｉｎｅａｒ?Ｈｉｄｄｅｎ?Ｌａｙｅｒ）去掉，并且映射层（Ｐｒｏｊｅｃｔｉｏｎ?Ｌａｙｅｒ）??为所有词语所共享，因此所有词语都映射到了相同位置。（词语所对应的向量被平均??化了）因为历史词语的顺序不影响映射过程，因此称其为“词袋模型”。??Ｓｋｉｐ－ｇｒａｍ模型同ＣＢＯＷ类似，但它则是给定某个词语来计算同一句子中其前??后其他词语出现的概率。模型将每个当前词语作为一个具有连续映射层的丨ｏｇ－ｌｉｎｅａｒ??分类器的输入，然后在一定范围内预测位于当前词语前面和后面的词语。并且该范??围越大，生成的词向量质量越高，但计算复杂度也会相应升高。??上述模型是当前得到词语分布式表示的非常通用的主流方法，Ｇｏｏｇｌｅ同时提供??了现成的工具包ｗ〇ｒｄ２ｖｅｃ。实验中，我们直接该工具包训练词向量。当然，也可以??利用其他工具进行预训练，或者选择随机初始化同模型一起训练。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ?ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??

硕士学位论文??ｖＭｊｊＷ／Ｊ?ＭＡＳＴＫＲ?Ｓ?ＴＨＥＳＩＳ??ＣＢＯＷ是基于词语的上下文来预测当前词语（计算其出现的概率）。它与前馈??神经网络语言模型（Ｆｅｅｄｆｏｒｗａｒｄ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅ丨）｜２８］类似，但将其中??的非线性隐藏层（Ｎｏｎ－ｌｉｎｅａｒ?Ｈｉｄｄｅｎ?Ｌａｙｅｒ）去掉，并且映射层（Ｐｒｏｊｅｃｔｉｏｎ?Ｌａｙｅｒ）??为所有词语所共享，因此所有词语都映射到了相同位置。（词语所对应的向量被平均??化了）因为历史词语的顺序不影响映射过程，因此称其为“词袋模型”。??Ｓｋｉｐ－ｇｒａｍ模型同ＣＢＯＷ类似，但它则是给定某个词语来计算同一句子中其前??后其他词语出现的概率。模型将每个当前词语作为一个具有连续映射层的丨ｏｇ－ｌｉｎｅａｒ??分类器的输入，然后在一定范围内预测位于当前词语前面和后面的词语。并且该范??围越大，生成的词向量质量越高，但计算复杂度也会相应升高。??上述模型是当前得到词语分布式表示的非常通用的主流方法，Ｇｏｏｇｌｅ同时提供??了现成的工具包ｗ〇ｒｄ２ｖｅｃ。实验中，我们直接该工具包训练词向量。当然，也可以??利用其他工具进行预训练，或者选择随机初始化同模型一起训练。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ?ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??


本文编号：3240308