面向服务机器人自然语言交互的语义解析方法研究
发布时间：2021-05-31 21:53
服务机器人需要直接与人类沟通并为人类提供服务,因此人机交互模块在服务机器人中具有重要的地位。为了提升用户满意度,自然语言交互的方式是目前人机交互的主流研究方向。语义解析作为自然语言交互模块中的一个任务,旨在将自然语言语句直接转化成语义完整的、计算机可执行的意义表示。语义解析的研究已经有较长的历史,从早期基于手工规则和模板匹配的方法,到基于训练数据的统计学习方法,再到深度学习模型方法,以及为了不标注数据而结合强化学习的弱监督方法,这些方法都体现出了各自的优势和缺点。本文针对语义解析数据标注困难、数据集规模小、深度学习模型难以发挥潜力的问题,从不同的角度提出了两个模型。第一个模型是结合句法知识的Tree2Tree模型,通过对句法分析得到的句法成分树进行编码,将句法视为先验知识引入到模型中,从而提升模型对自然语言的编码能力。另外,Tree2Tree模型采用树解码器进行层次解码得到逻辑形式,可以保证逻辑形式的语法正确性。第二个模型是基于预训练语言模型和知识蒸馏的语义解析模型,利用大规模预训练模型中含有的通用语义知识来完成语义解析任务。虽然预训练模型在语义解析任务上微调后可以得到较高的准确率,但...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
图１．１可佳机器人自然语言处理模块与任务规划模块??本文的研宄目标是为可佳机器人提供高准确率的自然语言语义解析系统
?第２章相关工作与背景知识???“管理员”进行评分奖励。根据生成的逻辑形式或代码在执行器中执行的结果进??行奖励或惩罚，从而通过强化学习策略梯度方法来对“程序员”模块进行训练。??２．３基于ＬＳＴＭ网络的语义解析模型??如２．２．３中提到的，基于ＬＳＴＭ网络的语义解析模型是深度学习语义解析方??法中的一个经典模型。并且作为本文提出的两个语义解析模型的背景知识，本节??将详细介绍基于ＬＳＴＭ网络的语义解析模型。??２．３．１编码器－解码器框架??如图２．１所亦，编码器－解码器（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）模型是指将输入的源语句通??过循环神经网络（ＲＮＮ，?Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）【４９］或长短期记忆网络（ＬＳＴＭ，??Ｌｏｎｇ?Ｓｈｏｒｔ－ｔｅｒｍ?１＾１１１〇丨７）［５（）】进行编码，得到一个包含语义的编码向量Ｋ。编码??向量Ｋ就可以看作是包含了输入数据中的语义或其他信息。基于此编码向量Ｆ，??再由一个同样的ＲＮＮ或ＬＳＴＭ网络作为解码器来解析出目标语句。解析过程??中，解码器根据编码向量和已解析出的符号，逐个的预测每一个单词的概率，选??取概率最大的单词作为当前解析出的符号。这样，最后就得到了一个最高概率的??候选语句作为解析结果。由于在编码和解码过程中，源序列和目标序列的长度不??受到限制，因此，许多学者将编码器－解码器框架看作是一个万能框架，可以应??用到许多任务中。??ｆ?Ｎ??目标输出??，?ｉ?＼?７??编码器Ｅｎｃｏｄｅｒ??＞－?〇?〇?〇??＞?解码器Ｄｅｃｏｄｅｒ??Ｖ．?／／??编码向量Ｖ??输入数据??Ｖ?／??图２．１编码器－解码
Ａｄｄ＆Ｎｏｒｍ?｜?｜?Ａｄｄ＆Ｎｏｒｍ?＜－ｉ?］??ｉ?＋?；?！?Ａ?！??｜?Ｍｕｌｔｉ－ｈｅａｄ?？?；?Ｍａｓｋｅｄ￣￣?１??Ａ＋＋?．．?１?Ｍｕｌｔｉ－ｈｅａｄ?｜??ｉ?＾?Ａｔｔｅｎｔｉｏｎ＾?ｉ?１?Ａｔｔｅｎｔｉｏｎ?，??＇、、？个＋?＼ｙ??Ｐｏｓｉｔｉｏｎａｌ?〇?Ｐｏｓｉｔｉｏｎａｌ??Ｅｎｃｏｄｉｎｇ?Ｅｎｃｏｄｉｎｇ??Ｅｍｂｅｄｄｉｎｇ?Ｅｍｂｅｄｄｉｎｇ??Ｓｏｕｒｃｅｓ?Ｔａｒｇｅｔｓ??图２．２?Ｔｒａｎｓｆｏｒｍｅｒ模型示意图??差连接方法将前一层计算后的信息分为两个流向，一个是直接传递到下一层末??尾，另一个是在下一层进行非线性变化。然后将两部分进行线性叠加作为下一层??的输出。这样的残差连接方法可以达到仅关注差异部分的目的，并且能够缓解深??层神经网络训练困难的问题。层归一化方法是指计算该层的平均输入值和输入??方差，然后用同一个规范化操作来转换各个维度的输入，从而对层的激活值进行??归一化。??在Ｔｒａｎｓｆｏｒｍｅｒ的解码器中，每个Ｔｒａｎｓｆｏｒｍｅｒ块会包括一个掩码多头自注意??力模块（Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ?Ａｔｔｅｎｔｉｏｎ）以及一个普通的多头自注意力模块。掩码??多头自注意力模块是为了保证在解码过程中，通过对将来的词进行掩码（Ｍａｓｋ）??操作，使得当前的词只能看到前面己经解码出的词，而不能看到将来的词。而??第二个多头自注意力模块的输入除了来自前面的掩码多头自注意力模块的输出，??还包括了编码器端的输出，因此称为编码器－解码器注意力层（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ??ａｔｔｅｎｔｉｏｎ?
【参考文献】：
博士论文
[1]提高ASP效率的若干途径及服务机器人上应用[D]. 吉建民.中国科学技术大学 2010
本文编号：3209029
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
图１．１可佳机器人自然语言处理模块与任务规划模块??本文的研宄目标是为可佳机器人提供高准确率的自然语言语义解析系统
?第２章相关工作与背景知识???“管理员”进行评分奖励。根据生成的逻辑形式或代码在执行器中执行的结果进??行奖励或惩罚，从而通过强化学习策略梯度方法来对“程序员”模块进行训练。??２．３基于ＬＳＴＭ网络的语义解析模型??如２．２．３中提到的，基于ＬＳＴＭ网络的语义解析模型是深度学习语义解析方??法中的一个经典模型。并且作为本文提出的两个语义解析模型的背景知识，本节??将详细介绍基于ＬＳＴＭ网络的语义解析模型。??２．３．１编码器－解码器框架??如图２．１所亦，编码器－解码器（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）模型是指将输入的源语句通??过循环神经网络（ＲＮＮ，?Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）【４９］或长短期记忆网络（ＬＳＴＭ，??Ｌｏｎｇ?Ｓｈｏｒｔ－ｔｅｒｍ?１＾１１１〇丨７）［５（）】进行编码，得到一个包含语义的编码向量Ｋ。编码??向量Ｋ就可以看作是包含了输入数据中的语义或其他信息。基于此编码向量Ｆ，??再由一个同样的ＲＮＮ或ＬＳＴＭ网络作为解码器来解析出目标语句。解析过程??中，解码器根据编码向量和已解析出的符号，逐个的预测每一个单词的概率，选??取概率最大的单词作为当前解析出的符号。这样，最后就得到了一个最高概率的??候选语句作为解析结果。由于在编码和解码过程中，源序列和目标序列的长度不??受到限制，因此，许多学者将编码器－解码器框架看作是一个万能框架，可以应??用到许多任务中。??ｆ?Ｎ??目标输出??，?ｉ?＼?７??编码器Ｅｎｃｏｄｅｒ??＞－?〇?〇?〇??＞?解码器Ｄｅｃｏｄｅｒ??Ｖ．?／／??编码向量Ｖ??输入数据??Ｖ?／??图２．１编码器－解码
Ａｄｄ＆Ｎｏｒｍ?｜?｜?Ａｄｄ＆Ｎｏｒｍ?＜－ｉ?］??ｉ?＋?；?！?Ａ?！??｜?Ｍｕｌｔｉ－ｈｅａｄ?？?；?Ｍａｓｋｅｄ￣￣?１??Ａ＋＋?．．?１?Ｍｕｌｔｉ－ｈｅａｄ?｜??ｉ?＾?Ａｔｔｅｎｔｉｏｎ＾?ｉ?１?Ａｔｔｅｎｔｉｏｎ?，??＇、、？个＋?＼ｙ??Ｐｏｓｉｔｉｏｎａｌ?〇?Ｐｏｓｉｔｉｏｎａｌ??Ｅｎｃｏｄｉｎｇ?Ｅｎｃｏｄｉｎｇ??Ｅｍｂｅｄｄｉｎｇ?Ｅｍｂｅｄｄｉｎｇ??Ｓｏｕｒｃｅｓ?Ｔａｒｇｅｔｓ??图２．２?Ｔｒａｎｓｆｏｒｍｅｒ模型示意图??差连接方法将前一层计算后的信息分为两个流向，一个是直接传递到下一层末??尾，另一个是在下一层进行非线性变化。然后将两部分进行线性叠加作为下一层??的输出。这样的残差连接方法可以达到仅关注差异部分的目的，并且能够缓解深??层神经网络训练困难的问题。层归一化方法是指计算该层的平均输入值和输入??方差，然后用同一个规范化操作来转换各个维度的输入，从而对层的激活值进行??归一化。??在Ｔｒａｎｓｆｏｒｍｅｒ的解码器中，每个Ｔｒａｎｓｆｏｒｍｅｒ块会包括一个掩码多头自注意??力模块（Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ?Ａｔｔｅｎｔｉｏｎ）以及一个普通的多头自注意力模块。掩码??多头自注意力模块是为了保证在解码过程中，通过对将来的词进行掩码（Ｍａｓｋ）??操作，使得当前的词只能看到前面己经解码出的词，而不能看到将来的词。而??第二个多头自注意力模块的输入除了来自前面的掩码多头自注意力模块的输出，??还包括了编码器端的输出，因此称为编码器－解码器注意力层（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ??ａｔｔｅｎｔｉｏｎ?
【参考文献】：
博士论文
[1]提高ASP效率的若干途径及服务机器人上应用[D]. 吉建民.中国科学技术大学 2010
本文编号：3209029
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3209029.html
