面向开放域对话系统的自动化评测方法研究
发布时间：2021-01-05 22:45
智能对话系统由于其发展潜力和商业价值受到了越来越多的关注,已经成为自然语言处理（Natural Language Processing,NLP）领域研究的热点。特别是近年来,深度学习和强化学习等学习方法的出现,使开放域对话系统逐步进入人们的视野,然而目前还没有存在一个良好的方法能够实现对开放域对话系统的快速评测,这在一定程度上阻碍了开放域对话系统的长远发展,因此开展开放域对话系统的评测研究将对其快速发展起到积极的促进作用。本文对开放域对话系统的各类评测方法进行调研,将这些评测方法分为人工评测和自动化评测两种,并对目前已有的几种基于深度学习的自动化评测方法进行了详细描述,同时对这些评测方法的优缺点进行了对比分析。针对目前评测方法需要大量人工标注数据和评测准确率较低等问题,本文提出了AB-LSTM-bi-MLP评测模型。该评测模型的设计出发点是判别问题-回复对是否为真实的对话,即判断两个句子是否是语义连贯和相关的句子。该模型基于连续的对话语料进行建模,目的在于解决目前基于参考回复的评测模型需要大量标注数据的弊端。该评测模型的核心内容是在基于注意力机制（Attention Mechanism...
【文章来源】：中国工程物理研究院北京市
【文章页数】：54 页
【学位级别】：硕士
【部分图文】：
图２．２单向循环神经网络及其展开形式??
即考虑目标词完整的前后文信息推断目标词。为解决这一问题，Ｓｃｈｕｓｔｅｒ等人于２００２年??提出了双向循环神经网络这一概念［３５］。简单地讲，两个单向循环神经网络反向叠加后即??为双向循环神经网络，如图２．３所示。其中，，…，表示前向循环神经网络分别??在时刻｛０，１，…，ｉ｝的隐藏层，每一时刻的隐藏层都接收对应时刻的输入信息和前一时刻??的隐藏层状态；｛＾，４，…表示后向循环神经网络分别在时刻｛０，１，…，ｉ｝的隐藏层，??每一时刻的隐藏层都接收对应时刻的输入信息和后一时刻的隐藏层状态。将同一时刻的??两个隐藏层的输出状态向量进行拼接即为对应时刻的输出向量，所以双向循环神经网络??输出的向量长度是单向循环神经网络输出的向量长度的两倍。??？?？?？?？??（？）￣￣０－－［＾ｎ—［＾｝－－＠??（＾０＾）?＊?Ａ〇?Ａ２?Ａｔ??＿Ｊｚｉ?Ｌ＾ｚｒ??（ｊ〇｝?（ｉ）?＠?…？??图２．３双向循环神经网络??２．２．３长短期记忆网络??由于传统的循环神经网络有一个很大的弊端就是其并不擅长解决长距离依赖信息??的任务，对于较长的且有着关联信息的文本数据，非常容易出现梯度消失。１９９７年，??Ｈｏｃｈｒｅｉｔｅｒ等人［３６］针对该问题首次提出了长短期记忆神经网络模型，该网络模型是在标??准的递归神经网络基础上进行的改进。长短期记忆神经网络简单地讲就是将标准的循环??神经网络中的隐藏层替换为长短期记忆单元，记忆单元的改变帮助了神经网络可以更好??地保存历史信息。长短期记忆网络模型对传统的循环神经网络的隐藏层进行了仔细的设??计
即考虑目标词完整的前后文信息推断目标词。为解决这一问题，Ｓｃｈｕｓｔｅｒ等人于２００２年??提出了双向循环神经网络这一概念［３５］。简单地讲，两个单向循环神经网络反向叠加后即??为双向循环神经网络，如图２．３所示。其中，，…，表示前向循环神经网络分别??在时刻｛０，１，…，ｉ｝的隐藏层，每一时刻的隐藏层都接收对应时刻的输入信息和前一时刻??的隐藏层状态；｛＾，４，…表示后向循环神经网络分别在时刻｛０，１，…，ｉ｝的隐藏层，??每一时刻的隐藏层都接收对应时刻的输入信息和后一时刻的隐藏层状态。将同一时刻的??两个隐藏层的输出状态向量进行拼接即为对应时刻的输出向量，所以双向循环神经网络??输出的向量长度是单向循环神经网络输出的向量长度的两倍。??？?？?？?？??（？）￣￣０－－［＾ｎ—［＾｝－－＠??（＾０＾）?＊?Ａ〇?Ａ２?Ａｔ??＿Ｊｚｉ?Ｌ＾ｚｒ??（ｊ〇｝?（ｉ）?＠?…？??图２．３双向循环神经网络??２．２．３长短期记忆网络??由于传统的循环神经网络有一个很大的弊端就是其并不擅长解决长距离依赖信息??的任务，对于较长的且有着关联信息的文本数据，非常容易出现梯度消失。１９９７年，??Ｈｏｃｈｒｅｉｔｅｒ等人［３６］针对该问题首次提出了长短期记忆神经网络模型，该网络模型是在标??准的递归神经网络基础上进行的改进。长短期记忆神经网络简单地讲就是将标准的循环??神经网络中的隐藏层替换为长短期记忆单元，记忆单元的改变帮助了神经网络可以更好??地保存历史信息。长短期记忆网络模型对传统的循环神经网络的隐藏层进行了仔细的设??计
【参考文献】：
期刊论文
[1]对话系统评价方法综述[J]. 张伟男,张杨子,刘挺. 中国科学:信息科学. 2017(08)
本文编号：2959433
【文章来源】：中国工程物理研究院北京市
【文章页数】：54 页
【学位级别】：硕士
【部分图文】：
图２．２单向循环神经网络及其展开形式??
即考虑目标词完整的前后文信息推断目标词。为解决这一问题，Ｓｃｈｕｓｔｅｒ等人于２００２年??提出了双向循环神经网络这一概念［３５］。简单地讲，两个单向循环神经网络反向叠加后即??为双向循环神经网络，如图２．３所示。其中，，…，表示前向循环神经网络分别??在时刻｛０，１，…，ｉ｝的隐藏层，每一时刻的隐藏层都接收对应时刻的输入信息和前一时刻??的隐藏层状态；｛＾，４，…表示后向循环神经网络分别在时刻｛０，１，…，ｉ｝的隐藏层，??每一时刻的隐藏层都接收对应时刻的输入信息和后一时刻的隐藏层状态。将同一时刻的??两个隐藏层的输出状态向量进行拼接即为对应时刻的输出向量，所以双向循环神经网络??输出的向量长度是单向循环神经网络输出的向量长度的两倍。??？?？?？?？??（？）￣￣０－－［＾ｎ—［＾｝－－＠??（＾０＾）?＊?Ａ〇?Ａ２?Ａｔ??＿Ｊｚｉ?Ｌ＾ｚｒ??（ｊ〇｝?（ｉ）?＠?…？??图２．３双向循环神经网络??２．２．３长短期记忆网络??由于传统的循环神经网络有一个很大的弊端就是其并不擅长解决长距离依赖信息??的任务，对于较长的且有着关联信息的文本数据，非常容易出现梯度消失。１９９７年，??Ｈｏｃｈｒｅｉｔｅｒ等人［３６］针对该问题首次提出了长短期记忆神经网络模型，该网络模型是在标??准的递归神经网络基础上进行的改进。长短期记忆神经网络简单地讲就是将标准的循环??神经网络中的隐藏层替换为长短期记忆单元，记忆单元的改变帮助了神经网络可以更好??地保存历史信息。长短期记忆网络模型对传统的循环神经网络的隐藏层进行了仔细的设??计
即考虑目标词完整的前后文信息推断目标词。为解决这一问题，Ｓｃｈｕｓｔｅｒ等人于２００２年??提出了双向循环神经网络这一概念［３５］。简单地讲，两个单向循环神经网络反向叠加后即??为双向循环神经网络，如图２．３所示。其中，，…，表示前向循环神经网络分别??在时刻｛０，１，…，ｉ｝的隐藏层，每一时刻的隐藏层都接收对应时刻的输入信息和前一时刻??的隐藏层状态；｛＾，４，…表示后向循环神经网络分别在时刻｛０，１，…，ｉ｝的隐藏层，??每一时刻的隐藏层都接收对应时刻的输入信息和后一时刻的隐藏层状态。将同一时刻的??两个隐藏层的输出状态向量进行拼接即为对应时刻的输出向量，所以双向循环神经网络??输出的向量长度是单向循环神经网络输出的向量长度的两倍。??？?？?？?？??（？）￣￣０－－［＾ｎ—［＾｝－－＠??（＾０＾）?＊?Ａ〇?Ａ２?Ａｔ??＿Ｊｚｉ?Ｌ＾ｚｒ??（ｊ〇｝?（ｉ）?＠?…？??图２．３双向循环神经网络??２．２．３长短期记忆网络??由于传统的循环神经网络有一个很大的弊端就是其并不擅长解决长距离依赖信息??的任务，对于较长的且有着关联信息的文本数据，非常容易出现梯度消失。１９９７年，??Ｈｏｃｈｒｅｉｔｅｒ等人［３６］针对该问题首次提出了长短期记忆神经网络模型，该网络模型是在标??准的递归神经网络基础上进行的改进。长短期记忆神经网络简单地讲就是将标准的循环??神经网络中的隐藏层替换为长短期记忆单元，记忆单元的改变帮助了神经网络可以更好??地保存历史信息。长短期记忆网络模型对传统的循环神经网络的隐藏层进行了仔细的设??计
【参考文献】：
期刊论文
[1]对话系统评价方法综述[J]. 张伟男,张杨子,刘挺. 中国科学:信息科学. 2017(08)
本文编号：2959433
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/2959433.html
最近更新
教材专著
