基于深度学习的智能聊天机器人的关键技术研究
发布时间：2021-11-22 08:42
随着深度学习在自然语言处理领域的飞速发展,国内外针对于文本分析、信息检索、词性标注和问答系统等技术的研究已经愈发成熟。尤其是聊天机器人技术,正伴随着便携移动设备市场的拓展走向成熟,在客服、金融、医疗、教育和生活服务等方面应用广泛。由于基于中文语料的聊天机器人具有开放式交互的优良特点,该技术将会极大的改善人们的生活方式,成为新时代的科技增长点。目前在研究聊天机器人时,学者们通常会选用基于深度学习的Seq2Seq模型对构建的语料库做词向量转换和模型训练。本文针对聊天机器人的研发流程中关键环节容易出现的常见问题和缺陷进行分析和研究,并提出改进方法。然后本文分析了现今运动类App普遍存在的与用户交互不足的问题,并将改进后的聊天机器人模型应用于运动类App中,增强了与用户的交互体验。具体研究工作有以下几个方面:（1）针对于传统的构建中文特定领域语料库语料数量有限和对话语料关联不强的问题,提出改进的算法。新方法构建的语料库不仅比现有的一般方法构建的语料库更丰富,而且对话之间的关联性更强。（2）为提升训练中对中文词向量训练效果,结合了Word2Vec的两种优化算法,提出组合算法的模型训练中文语料,该...
【文章来源】：广西大学广西壮族自治区 211工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－１卷积神经网络结构??Ｆｉｇ?２－１?Ｓｔｒｕｃｔｕｒｅ?ｏｆ?Ｃｏｎｖｏｌｕｔｉｏｎ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ??－
循环神经网络（ＲＮＮ）通常用于对输入序列的建模，广泛应用于和序列有关??的场景［３？８］，如视频、音频、句子的处理，其优点就是能将所有先前输入的信息??及其抽象表示保存在隐藏状态。如图２－２展示了基本的ＲＮＮ结构在连续两个时刻??中的传递过程。可见，ｉ时刻的隐藏状态取决于ｉ时刻的输入信息以及ｉ－１时刻的??隐藏状态，同样的，也取决于ｉ－１时刻的输入信息以及ｉ－２时刻的隐藏状态等。??以下为ＲＮＮ的计算方法：??°ｉ＝ｓ（ｖｓ，）?（２．１）??ｓ，．?＝／（ｔ／ｘ，．?＋Ｗｓ＾）?（２．２）??其中，０，为ｉ时刻的输出，Ｐ是输出层的权重矩阵，ｇ函数是激活函数，式??（２．１）为一个全连接层；＼表示ｉ时刻隐藏层的内容，ｇＰｉ时刻的记忆，Ｕ是输入层??的权重矩阵，Ｗ是ｉ－１时刻到ｉ时刻隐藏层的权重矩阵，ｆ是一个非线性的激活??函数
畚幕?谏疃妊?暗闹悄芰奶旎?ト说墓亟〖际跹芯浚崳?传统的ＲＮＮ内部只是设置了一个简单的ｔａｎｈ层，而ＬＳＴＭ改变了?ＲＮＮ结构??中隐藏层的非线性单元，如图２－３所示，通过结合ｔａｎｈ层，以及用于读取（输出）、??写入（输入）和重置（忘记）的门（ｇａｔｅｓ）结构替代。ＬＳＴＭ为了解决ＲＮＮ记??忆长期状态的问题，增加了细胞状态Ｃ，使Ｃ保存长期的状态，并通过门结构决??定哪些状态应该被遗忘，应该吸收哪些新的状态，以及应该输出什么信息，目前??ＬＳＴＭ主要应用在机器翻译、语言模型、词性标注和问答系统中??ＬＳＴＭ的计算原理如下：??Ｉｌ＝ｃｒ（ＷＩｘｘｉ＾ＷＩｈｈｉ＿ｘ＋ｂＩ）?（２．７）??ｆｉ＝＾（ｗｆｉ：ｘｉ?＋?Ｗｆｈｈｉ＿ｌ＋ｂｆ）?（２．８）??ｃｉ?＝?Ｕｉ－ｘ?＋Ｋｈｈ－ｉ?＋ｂｃ）?（２－９）??〇／?＝?Ｈ?＋?〇?（２．１〇）??＝ｏ，ｔａｎｈ（ｃ（）?（２．１１）??其中，／，，?／Ｕ分别代表埘刻的输入门、遗忘门、输出门和细胞状态。??矩阵Ｗ表示各层、门和单元之间的权重矩阵，例如表示输入层和输入门之间??的权重矩阵。门和单元的偏置项ｂｉａｓ分别为６７、＼、九和ａ是ｓｉｇｍｏｉｄ激活函??数。??ｆ?＇?Ａ??Ｃｉ－ｉ?Ｃｊ?Ｃｉ???？?＠?（＋）———Ｊ—?？??＾ｔａｎｈ＾）??ｆ，?ｉ，?｜—＊（＾）?〇１ｐ（＾）??〇?〇
【参考文献】：
期刊论文
[1]循环神经网络研究综述[J]. 杨丽,吴雨茜,王俊丽,刘义理. 计算机应用. 2018(S2)
[2]移动互联网时代新闻类App的发展困境和应对策略[J]. 孟姜. 新媒体研究. 2018(14)
[3]人工智能在金融理财中的应用研究——以京东JIMI为例[J]. 侯欣妤. 无线互联科技. 2018(11)
[4]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[5]Multi-Level Cross-Lingual Attentive Neural Architecture for Low Resource Name Tagging[J]. Xiaocheng Feng,Lifu Huang,Bing Qin,Ying Lin,Heng Ji,Ting Liu. Tsinghua Science and Technology. 2017(06)
[6]智能语音助手将成为新的用户入口[J]. 闻立群,刘珊,董明芳. 现代电信科技. 2017(01)
[7]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[8]聊天机器人问答系统现状与发展[J]. 冯升. 机器人技术与应用. 2016(04)
[9]智能客服机器人的现状及发展[J]. 李斐,邵晓东,周力恒,金阳. 中国传媒科技. 2016(04)
[10]一种基于语句主谓语编码的文本水印技术[J]. 李桂森,陈建平,马海英,杨方兴. 计算机科学. 2015(S2)
博士论文
[1]互联网环境下图像检索若干问题研究[D]. 雷亮.重庆大学 2011
硕士论文
[1]基于深度学习的中文分词方法研究[D]. 刘玉德.华南理工大学 2018
[2]面向客服聊天机器人的领域本体构建的研究与应用[D]. 田星.电子科技大学 2018
[3]基于深度学习的智能聊天机器人的研究[D]. 梁苗苗.浙江理工大学 2018
[4]基于强化学习的开放领域聊天机器人对话生成算法[D]. 曹东岩.哈尔滨工业大学 2017
本文编号：3511340
【文章来源】：广西大学广西壮族自治区 211工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－１卷积神经网络结构??Ｆｉｇ?２－１?Ｓｔｒｕｃｔｕｒｅ?ｏｆ?Ｃｏｎｖｏｌｕｔｉｏｎ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ??－
循环神经网络（ＲＮＮ）通常用于对输入序列的建模，广泛应用于和序列有关??的场景［３？８］，如视频、音频、句子的处理，其优点就是能将所有先前输入的信息??及其抽象表示保存在隐藏状态。如图２－２展示了基本的ＲＮＮ结构在连续两个时刻??中的传递过程。可见，ｉ时刻的隐藏状态取决于ｉ时刻的输入信息以及ｉ－１时刻的??隐藏状态，同样的，也取决于ｉ－１时刻的输入信息以及ｉ－２时刻的隐藏状态等。??以下为ＲＮＮ的计算方法：??°ｉ＝ｓ（ｖｓ，）?（２．１）??ｓ，．?＝／（ｔ／ｘ，．?＋Ｗｓ＾）?（２．２）??其中，０，为ｉ时刻的输出，Ｐ是输出层的权重矩阵，ｇ函数是激活函数，式??（２．１）为一个全连接层；＼表示ｉ时刻隐藏层的内容，ｇＰｉ时刻的记忆，Ｕ是输入层??的权重矩阵，Ｗ是ｉ－１时刻到ｉ时刻隐藏层的权重矩阵，ｆ是一个非线性的激活??函数
畚幕?谏疃妊?暗闹悄芰奶旎?ト说墓亟〖际跹芯浚崳?传统的ＲＮＮ内部只是设置了一个简单的ｔａｎｈ层，而ＬＳＴＭ改变了?ＲＮＮ结构??中隐藏层的非线性单元，如图２－３所示，通过结合ｔａｎｈ层，以及用于读取（输出）、??写入（输入）和重置（忘记）的门（ｇａｔｅｓ）结构替代。ＬＳＴＭ为了解决ＲＮＮ记??忆长期状态的问题，增加了细胞状态Ｃ，使Ｃ保存长期的状态，并通过门结构决??定哪些状态应该被遗忘，应该吸收哪些新的状态，以及应该输出什么信息，目前??ＬＳＴＭ主要应用在机器翻译、语言模型、词性标注和问答系统中??ＬＳＴＭ的计算原理如下：??Ｉｌ＝ｃｒ（ＷＩｘｘｉ＾ＷＩｈｈｉ＿ｘ＋ｂＩ）?（２．７）??ｆｉ＝＾（ｗｆｉ：ｘｉ?＋?Ｗｆｈｈｉ＿ｌ＋ｂｆ）?（２．８）??ｃｉ?＝?Ｕｉ－ｘ?＋Ｋｈｈ－ｉ?＋ｂｃ）?（２－９）??〇／?＝?Ｈ?＋?〇?（２．１〇）??＝ｏ，ｔａｎｈ（ｃ（）?（２．１１）??其中，／，，?／Ｕ分别代表埘刻的输入门、遗忘门、输出门和细胞状态。??矩阵Ｗ表示各层、门和单元之间的权重矩阵，例如表示输入层和输入门之间??的权重矩阵。门和单元的偏置项ｂｉａｓ分别为６７、＼、九和ａ是ｓｉｇｍｏｉｄ激活函??数。??ｆ?＇?Ａ??Ｃｉ－ｉ?Ｃｊ?Ｃｉ???？?＠?（＋）———Ｊ—?？??＾ｔａｎｈ＾）??ｆ，?ｉ，?｜—＊（＾）?〇１ｐ（＾）??〇?〇
【参考文献】：
期刊论文
[1]循环神经网络研究综述[J]. 杨丽,吴雨茜,王俊丽,刘义理. 计算机应用. 2018(S2)
[2]移动互联网时代新闻类App的发展困境和应对策略[J]. 孟姜. 新媒体研究. 2018(14)
[3]人工智能在金融理财中的应用研究——以京东JIMI为例[J]. 侯欣妤. 无线互联科技. 2018(11)
[4]From Eliza to XiaoIce:challenges and opportunities with social chatbots[J]. Heung-yeung SHUM,Xiao-dong HE,Di LI. Frontiers of Information Technology & Electronic Engineering. 2018(01)
[5]Multi-Level Cross-Lingual Attentive Neural Architecture for Low Resource Name Tagging[J]. Xiaocheng Feng,Lifu Huang,Bing Qin,Ying Lin,Heng Ji,Ting Liu. Tsinghua Science and Technology. 2017(06)
[6]智能语音助手将成为新的用户入口[J]. 闻立群,刘珊,董明芳. 现代电信科技. 2017(01)
[7]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[8]聊天机器人问答系统现状与发展[J]. 冯升. 机器人技术与应用. 2016(04)
[9]智能客服机器人的现状及发展[J]. 李斐,邵晓东,周力恒,金阳. 中国传媒科技. 2016(04)
[10]一种基于语句主谓语编码的文本水印技术[J]. 李桂森,陈建平,马海英,杨方兴. 计算机科学. 2015(S2)
博士论文
[1]互联网环境下图像检索若干问题研究[D]. 雷亮.重庆大学 2011
硕士论文
[1]基于深度学习的中文分词方法研究[D]. 刘玉德.华南理工大学 2018
[2]面向客服聊天机器人的领域本体构建的研究与应用[D]. 田星.电子科技大学 2018
[3]基于深度学习的智能聊天机器人的研究[D]. 梁苗苗.浙江理工大学 2018
[4]基于强化学习的开放领域聊天机器人对话生成算法[D]. 曹东岩.哈尔滨工业大学 2017
本文编号：3511340
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3511340.html
