基于深度学习的斗图聊天系统研究与实现
发布时间：2021-06-21 22:59
随着数据的增长和电脑硬件的发展,深度学习取得了爆发式的进步,在与各个领域的碰撞融合中展现出了惊人的潜力,如图像识别、语音识别等领域都取得了重要的成绩。谷歌的ALphaGo机器人战胜世界围棋冠军李世石更是将人工智能推向热潮,人类步入了人工智能时代,人工智能在各个行业的运用越来越趋于核心,包括医疗、芯片、交通等领域。作为人工智能时代的入口级产品,聊天机器人结合了语音识别与自然语言处理之中多个领域的研究,成为了一个非常火热的人工智能研发方向。它们已经出现在商场、图书馆等各个地方为人们提供服务,通过交流为用户解决疑惑。在此背景下,本论文将追寻聊天机器人的发展历程,了解聊天机器人从诞生到现在的核心技术更迭情况,并对如何实现一个可靠的聊天系统展开探究,研究其研发思路和相关技术,最终获得了以下成果:（1）聊天机器人起源于问答系统,对用户提出的问题,问答系统将会通过问题分析、信息检索、答案抽取、答案选择四个步骤获取答案并回复用户,起到为用户解惑的功能。受决策树模型的启发,本文提出了一种基于树模型的问答匹配模型,能够将用户的提问和信息检索获取的文本数据精简优化,并从检索得到的文本中获取有效的答案候选集合...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
卷积神经网络模型
阆胍?げ饩渥拥南?一个单词，会用到前面的单词，因为在一个句子中，前后单词并不是孤立的。对这种问题，普通的神经网络无能为力。这时就需要一种具有一定记忆能力，并且能够按时序依次处理任意长度数据的模型，即循环神经网络，简称RNN。它之所以被称为循环神经网络，是因为一个序列当前的输出也会与前面的输出有关。它具体的实现方式是把相邻时刻的隐藏层节点相连接，使当前时刻隐藏层的输入既使用当前时刻输入层获取的数据，也使用上一时刻隐藏层输出的数据，这样做可以使网络记住前面的信息然后应用在当前输出的计算中。图2-5是循环神经网络结构图。图2-5循环神经网络模型从图2-5中能够看出，循环神经网络也是由三层结构：输入层、隐藏层、输出层。它的输入序列长度与输出序列长度相等都为t，输入序列为x1,x2,...,xt,...,xn，隐藏层的状态序列为s1,s2,...,st,...,sn，输出序列为o1,o2,...,...ot,...,on，U是状态-状态权重矩阵，W是输入-状态权重矩阵，V是状态-输出权重矩阵，每时刻的同一位置的权重矩阵共享。则t时刻时，st=f(W·st1+U·xt+bs)(2-1)ot=f(V·st+bo)(2-2)其中f为激活函数，bs和bo都是偏置系数。由式2-1可看出，t时刻的隐藏层状态st不仅取决于当前时刻的输入xt，还与上一时刻的隐藏层状态st1有关。这是单向的RNN网络，ot只与左边的元素有关，但有时ot也与右边的元素有关，这时候就可以使用双向循环神经网络（BidirectionalRecurrentNeuralNetworks，BRNN）[43]。13
电子科技大学专业学位硕士学位论文对于不定长的输入，寻常模型会对其作padding操作，这虽然不影响计算，但是会影响模型的训练结果。RNN模型则可以根据需求调整模型结构，如图2-6所示。图2-6RNN模型对不定长序列的处理2.2.3长短期记忆网络但是RNN模型的记忆能力比较短，无法学习远程依赖，这是受到了梯度消失[44]的影响，梯度消失是反向传播算法的天生缺点。一般解决梯度消失除了使用ReLU激活函数之外，还可以使用长短期记忆网络（Longshort-termmemory，LSTM）模型[45]。LSTM模型与一般的RNN模型结构本质上并没有什么不同，只是它在计算隐藏层的状态时使用了不同的函数，这些函数可以学习添加或删除隐藏状态的信息，被称之为“门”，LSTM通过门机制减少梯度消失的问题。图2-7一个LSTM单元如图2-7所示，是一个LSTM单元的结构，中间有一个cell，是LSTM用于判断信息是否有用的核心。在cell边上有三个门，分别是输入门、遗忘门以及输出门。LSTM单元一般会输出两种状态到下一个单元，即单元状态和隐藏状态。当隐14
【参考文献】：
期刊论文
[1]中文分词技术的研究现状与困难[J]. 孙铁利,刘延吉. 信息技术. 2009(07)
[2]中文分词十年回顾[J]. 黄昌宁,赵海. 中文信息学报. 2007(03)
[3]决策树分类技术研究[J]. 栾丽华,吉根林. 计算机工程. 2004(09)
博士论文
[1]短文本相似度计算在用户交互式问答系统中的应用[D]. 宋万鹏.中国科学技术大学 2010
硕士论文
[1]网络表情包的传播及应用研究[D]. 丁延琪.北京邮电大学 2019
[2]基于深度学习的候选答案句选择研究[D]. 张学武.广东工业大学 2019
[3]可控闲聊对话系统的研究[D]. 顾秀森.北京邮电大学 2019
本文编号：3241589
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
卷积神经网络模型
阆胍?げ饩渥拥南?一个单词，会用到前面的单词，因为在一个句子中，前后单词并不是孤立的。对这种问题，普通的神经网络无能为力。这时就需要一种具有一定记忆能力，并且能够按时序依次处理任意长度数据的模型，即循环神经网络，简称RNN。它之所以被称为循环神经网络，是因为一个序列当前的输出也会与前面的输出有关。它具体的实现方式是把相邻时刻的隐藏层节点相连接，使当前时刻隐藏层的输入既使用当前时刻输入层获取的数据，也使用上一时刻隐藏层输出的数据，这样做可以使网络记住前面的信息然后应用在当前输出的计算中。图2-5是循环神经网络结构图。图2-5循环神经网络模型从图2-5中能够看出，循环神经网络也是由三层结构：输入层、隐藏层、输出层。它的输入序列长度与输出序列长度相等都为t，输入序列为x1,x2,...,xt,...,xn，隐藏层的状态序列为s1,s2,...,st,...,sn，输出序列为o1,o2,...,...ot,...,on，U是状态-状态权重矩阵，W是输入-状态权重矩阵，V是状态-输出权重矩阵，每时刻的同一位置的权重矩阵共享。则t时刻时，st=f(W·st1+U·xt+bs)(2-1)ot=f(V·st+bo)(2-2)其中f为激活函数，bs和bo都是偏置系数。由式2-1可看出，t时刻的隐藏层状态st不仅取决于当前时刻的输入xt，还与上一时刻的隐藏层状态st1有关。这是单向的RNN网络，ot只与左边的元素有关，但有时ot也与右边的元素有关，这时候就可以使用双向循环神经网络（BidirectionalRecurrentNeuralNetworks，BRNN）[43]。13
电子科技大学专业学位硕士学位论文对于不定长的输入，寻常模型会对其作padding操作，这虽然不影响计算，但是会影响模型的训练结果。RNN模型则可以根据需求调整模型结构，如图2-6所示。图2-6RNN模型对不定长序列的处理2.2.3长短期记忆网络但是RNN模型的记忆能力比较短，无法学习远程依赖，这是受到了梯度消失[44]的影响，梯度消失是反向传播算法的天生缺点。一般解决梯度消失除了使用ReLU激活函数之外，还可以使用长短期记忆网络（Longshort-termmemory，LSTM）模型[45]。LSTM模型与一般的RNN模型结构本质上并没有什么不同，只是它在计算隐藏层的状态时使用了不同的函数，这些函数可以学习添加或删除隐藏状态的信息，被称之为“门”，LSTM通过门机制减少梯度消失的问题。图2-7一个LSTM单元如图2-7所示，是一个LSTM单元的结构，中间有一个cell，是LSTM用于判断信息是否有用的核心。在cell边上有三个门，分别是输入门、遗忘门以及输出门。LSTM单元一般会输出两种状态到下一个单元，即单元状态和隐藏状态。当隐14
【参考文献】：
期刊论文
[1]中文分词技术的研究现状与困难[J]. 孙铁利,刘延吉. 信息技术. 2009(07)
[2]中文分词十年回顾[J]. 黄昌宁,赵海. 中文信息学报. 2007(03)
[3]决策树分类技术研究[J]. 栾丽华,吉根林. 计算机工程. 2004(09)
博士论文
[1]短文本相似度计算在用户交互式问答系统中的应用[D]. 宋万鹏.中国科学技术大学 2010
硕士论文
[1]网络表情包的传播及应用研究[D]. 丁延琪.北京邮电大学 2019
[2]基于深度学习的候选答案句选择研究[D]. 张学武.广东工业大学 2019
[3]可控闲聊对话系统的研究[D]. 顾秀森.北京邮电大学 2019
本文编号：3241589
本文链接：https://www.wllwen.com/guanlilunwen/lindaojc/3241589.html
