基于深度学习的情感对话生成模型研究
发布时间：2020-08-21 06:06
【摘要】：人机对话作为人工智能领域的核心技术之一,一直以来备受学术界与工业界的关注。早期,人机对话系统的构建主要基于规则、模板或者检索的方法。近年来,深度学习技术的发展使得现有人机对话技术有了突破性的进展。随着人机对话系统应用场景的不断扩展,人们提出更高的需求,无论是任务型人机对话还是开放域的闲聊,都希望机器兼具智商与情商,能够灵活地与人交流,理解并且表达情感,而不是给出冷冰冰的回复。然而,现有的对话生成研究大多致力于提高回复内容的相关性,在情感对话生成上的研究还较少。本文研究基于深度学习的情感对话生成,即根据用户对话消息与指定情感类别,生成语法正确、内容相关且包含指定情感的回复,情感类别包括{其他、喜欢、悲伤、厌恶、愤怒、快乐}六种。本文的主要工作如下。本文提出基于内容与情感联合解码的情感对话生成模型(EDG-JDCE)。研究表明,在对话生成模型中加入情感因素会导致生成回复的内容相关性降低。为了缓解上述问题,该模型构建基于内容与情感的联合注意力机制与联合解码器。在解码器中设计独立的内容解码单元与情感解码单元,分别学习对话中内容与情感的表达能力。在解码过程中,引入基于内容与情感的联合注意力机制,根据内容与情感的表达状态,获取注意力权重,动态对用户对话消息进行编码。同时,本文在该模型的基础上,探讨One-hot与Embedding两种常见的情感类别表示方式对模型的影响。本文在NLPCC2017发布的情感对话语料上进行对比实验,实验结果表明,相比其他模型,该模型在各项评价指标上均有一定程度的提升。EDG-JDCE模型使用极大似然函数作为目标函数,同样会出现这种方法下普遍存在的“安全回复”的问题,如“我不知道”等。为了提高回复的多样性,本文提出基于序列生成对抗网络的情感对话生成模型(EDG-SeqGAN),主要包括生成器、内容与情感鉴别器。生成器使用EDG-JDCE模型,内容与情感鉴别器均基于双向长短时记忆网络。在对抗训练中,使用内容鉴别器保证生成器生成与用户对话消息内容相关的回复,使用情感鉴别器引导生成器生成包含指定情感类别的回复,从而最终生成更接近真实对话的回复,提高回复的多样性。实验结果表明,本文模型生成的回复在内容和情感上相关,同时也更加丰富、多样。
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP18
【图文】：
复杂的长短时记忆网络（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通过遗忘门、输入逡逑门、输出门实践部保留长期记忆。ＬＳＴＭ也是一种循环神经网络结构，可以串联展逡逑开，模型如图２．２所示。逡逑Ｑ逦？逦Ｑ逡逑逦，逦逦０逦丨丨＂！．．．．．．邋邋今邋１邋＇邋卜逡逑Ｔ邋▲逦［＿：．逦４逦▲逦个邋＿＿＿＿＿逡逑＾邋ｉｆｆ邋ｒ＾＇邋［＾］逡逑丨丨邋．．．．」＾邋ｒｉ邋丨邋—逦逦逡逑◎邋？邋？逡逑图２．２邋ＬＳＴＭ网络结构图逡逑９逡逑
＠逦④逦＠逦（ｊ；逦？逡逑图２．１邋ＲＮＮ网络结构图逡逑其中，每个时刻有一个输入ｘｔ，Ａ是ＲＮＮ的一个单元，心是每个时刻对应的输逡逑出，下一时刻的输出￣由当前时刻的输入Ａ与前一时刻的输出计算得到，如公逡逑式２．１所示。逡逑ｈｔ邋－邋ａ（Ｗｈｈ邋■邋ｈｔ＿！邋＋邋Ｗｘｈ邋？邋ｘｔ）逦（公式邋２．１）逡逑其中与１４／Ｚ／１均为ＲＮＮ的参数，每个时刻的参数共享，Ｊ是激活函数，常用的逡逑激活函数有Ｓｉｇｍｏｉｄ函数、Ｔａｎｈ函数以及ＲｅＬｕ函数等。逡逑２．２．２长短时记忆网络逡逑＿虽然可以将之前的序列数据进行关联，但是随着序列的增长，开始的信息逡逑会逐渐被遗忘，而越靠后的序列信息保留的越多，存在长期依赖（Ｌｏｎｇ－ｔｅｒｍ逡逑Ｄｅｐｅｎｄｅｎｃｉｅｓ）的问题。１９９７年Ｓｃｈｍｉｄｈｕｂｅｒ教授为解决此问题提出内部结构更加逡逑复杂的长短时记忆网络（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通过遗忘门、输入逡逑门、输出门实践部保留长期记忆。ＬＳＴＭ也是一种循环神经网络结构，可以串联展逡逑开，模型如图２．２所示。逡逑Ｑ逦？逦Ｑ逡逑
ｔｆ＾．ｆ输入门通过Ｓｉｇｍｏｉｄ函数控制接受前一时刻信息的程度，并通过非线性Ｔａｎｈ激逡逑活函数得到候选状态Ｃｔ，如公式２．３、２．４所示。逡逑ｉｔ邋＝邋ａ（Ｗｉ邋■逦（公式邋２．３）逡逑Ｑ邋＝邋ｔａｎｈ（Ｍ／ｃ－邋［ｈｔ．ｉ．Ｘｆ］邋＋邋ｂｃ）逦（公式邋２．４）逡逑通过将上一时刻的状态与遗忘门的参数相乘，表示需要忘记的信息，候选状态逡逑与输入门的参数相乘，表示保留现有的信息，两者相加，更新为ＬＳＴＭ的状态，如逡逑公式２．５所不。逡逑Ｃｔ邋＝邋ｆｔ邋＊邋＾ｔ－ｉ邋＋邋ｈ邋＊邋Ｑ逦（公式邋２．５）逡逑输出门通过Ｓｉｇｍｏｉｄ函数决定最终要输出的信息参数，并通过非线性Ｔａｎｈ激逡逑活函数进行映射与输出门的参数相乘，得到最终输出结果，如公式２．６、１７所示。逡逑ｏｔ邋＝邋ａ（Ｗ0邋■逦＋邋ｂ0）逦（公式邋２．６）逡逑ｈｔ邋＝邋ｏｔ邋＊邋ｔａｎｈ（Ｃ￡）逦（公式邋２．７）逡逑２．２．３门控循环单元网络逡逑门控循环单元网络（ＧａｔｅｄＲｅｃｕｒｒｅｎｔＵｎｉｔ，ＧＲＵ）是ＬＳＴＭ的一种变体［３６］’也逡逑是一种循环神经网络结构，模型如图２．３所示。逡逑？逦？逦Ｑ逡逑
本文编号：2799021
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP18
【图文】：
复杂的长短时记忆网络（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通过遗忘门、输入逡逑门、输出门实践部保留长期记忆。ＬＳＴＭ也是一种循环神经网络结构，可以串联展逡逑开，模型如图２．２所示。逡逑Ｑ逦？逦Ｑ逡逑逦，逦逦０逦丨丨＂！．．．．．．邋邋今邋１邋＇邋卜逡逑Ｔ邋▲逦［＿：．逦４逦▲逦个邋＿＿＿＿＿逡逑＾邋ｉｆｆ邋ｒ＾＇邋［＾］逡逑丨丨邋．．．．」＾邋ｒｉ邋丨邋—逦逦逡逑◎邋？邋？逡逑图２．２邋ＬＳＴＭ网络结构图逡逑９逡逑
＠逦④逦＠逦（ｊ；逦？逡逑图２．１邋ＲＮＮ网络结构图逡逑其中，每个时刻有一个输入ｘｔ，Ａ是ＲＮＮ的一个单元，心是每个时刻对应的输逡逑出，下一时刻的输出￣由当前时刻的输入Ａ与前一时刻的输出计算得到，如公逡逑式２．１所示。逡逑ｈｔ邋－邋ａ（Ｗｈｈ邋■邋ｈｔ＿！邋＋邋Ｗｘｈ邋？邋ｘｔ）逦（公式邋２．１）逡逑其中与１４／Ｚ／１均为ＲＮＮ的参数，每个时刻的参数共享，Ｊ是激活函数，常用的逡逑激活函数有Ｓｉｇｍｏｉｄ函数、Ｔａｎｈ函数以及ＲｅＬｕ函数等。逡逑２．２．２长短时记忆网络逡逑＿虽然可以将之前的序列数据进行关联，但是随着序列的增长，开始的信息逡逑会逐渐被遗忘，而越靠后的序列信息保留的越多，存在长期依赖（Ｌｏｎｇ－ｔｅｒｍ逡逑Ｄｅｐｅｎｄｅｎｃｉｅｓ）的问题。１９９７年Ｓｃｈｍｉｄｈｕｂｅｒ教授为解决此问题提出内部结构更加逡逑复杂的长短时记忆网络（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）邋［３７１，通过遗忘门、输入逡逑门、输出门实践部保留长期记忆。ＬＳＴＭ也是一种循环神经网络结构，可以串联展逡逑开，模型如图２．２所示。逡逑Ｑ逦？逦Ｑ逡逑
ｔｆ＾．ｆ输入门通过Ｓｉｇｍｏｉｄ函数控制接受前一时刻信息的程度，并通过非线性Ｔａｎｈ激逡逑活函数得到候选状态Ｃｔ，如公式２．３、２．４所示。逡逑ｉｔ邋＝邋ａ（Ｗｉ邋■逦（公式邋２．３）逡逑Ｑ邋＝邋ｔａｎｈ（Ｍ／ｃ－邋［ｈｔ．ｉ．Ｘｆ］邋＋邋ｂｃ）逦（公式邋２．４）逡逑通过将上一时刻的状态与遗忘门的参数相乘，表示需要忘记的信息，候选状态逡逑与输入门的参数相乘，表示保留现有的信息，两者相加，更新为ＬＳＴＭ的状态，如逡逑公式２．５所不。逡逑Ｃｔ邋＝邋ｆｔ邋＊邋＾ｔ－ｉ邋＋邋ｈ邋＊邋Ｑ逦（公式邋２．５）逡逑输出门通过Ｓｉｇｍｏｉｄ函数决定最终要输出的信息参数，并通过非线性Ｔａｎｈ激逡逑活函数进行映射与输出门的参数相乘，得到最终输出结果，如公式２．６、１７所示。逡逑ｏｔ邋＝邋ａ（Ｗ0邋■逦＋邋ｂ0）逦（公式邋２．６）逡逑ｈｔ邋＝邋ｏｔ邋＊邋ｔａｎｈ（Ｃ￡）逦（公式邋２．７）逡逑２．２．３门控循环单元网络逡逑门控循环单元网络（ＧａｔｅｄＲｅｃｕｒｒｅｎｔＵｎｉｔ，ＧＲＵ）是ＬＳＴＭ的一种变体［３６］’也逡逑是一种循环神经网络结构，模型如图２．３所示。逡逑？逦？逦Ｑ逡逑
【参考文献】
相关硕士学位论文 前2条
1 范创;人机对话中的情感文本生成方法研究[D];哈尔滨工业大学;2018年
2 曹东岩;基于强化学习的开放领域聊天机器人对话生成算法[D];哈尔滨工业大学;2017年
本文编号：2799021
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2799021.html
