基于深度学习的智能问答技术研究
发布时间：2021-10-01 23:54
随着互联网技术的高速发展,网络信息数据指数式增长。在信息大数据时代,在面对海量的信息时,如何迅速准确地获取所需要的信息是用户的迫切需求。相对于搜索引擎,智能问答系统可以根据用户提出的自然语言问句,直接返回用户所需要的答案信息,减少用户的获取信息的时间成本。深度学习技术日新月异,在自然语言处理领域已开始广泛应用,智能问答处理系统作为自然语言处理的重要应用形式,逐渐受到关注。本文首先对所用到的深度学习技术进行分析研究。针对标准门控循环单元GRU进行语义向量表示学习时不能完整学习语句含义的问题,引入双向门控循环单元Bi-GRU进行语义编码,得到较完整的语义理解向量。根据注意力思想,构建语句级别的多步注意力机制,提升神经网络模型在获取答案相关的文本信息向量的准确性。随后结合Bi-GRU和多步注意力机制,构建智能问答神经网络模型,并通过实验验证了模型根据问题对信息文本向量提取后生成答案的准确性。最后本文对智能问答系统的功能和架构进行分析,对模型训练和问答服务进行分离式设计,保证问答系统的可用性和稳定性。
【文章来源】：广西大学广西壮族自治区 211工程院校
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
图２－３词向量的二维可视化??Ｆｉｇ．２－３?２Ｄ?ｖｉｓｕａｌｉｚａｔｉｏｎ?ｏｆ?ｗｏｒｄ?ｖｅｃｔｏｒｓ??可以看到语义相近的词，在二维平面的位置相近
层是输入层，最后一层是输出层，而中间的层都是隐藏层。前馈神经网络中的每一层之??间都是是全连接的，也就是说第ｉ层的任意一个神经元不仅与ｉ－ｌ层的所有祌经元相连??接，也与ｉ＋１层的所有神经元相连。三层前馈神经网络模型的结构如图２－３所示：??输Ａｇ?隐賴?输出层??图２－３三层前馈神经网络模型??Ｆｉｇ．２－３?Ｔｈｒｅｅ－ｌａｙｅｒ?ｆｅｅｄｆｏｒｗａｒｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｍｏｄｅｌ??前馈祌经网络前向传播根据以下公式进行数据计算：??Ｚ？?＝?Ｗ（ｌ）Ａ＾?＋?（２－１）??Ａ（ｉ）?＝?（２－２）??其中，Ａ（ｌ－１〕是上一层网络的激活函数值，和ｂ（１）是第１层的权重参数和偏置值。??ｆｉ（ｘ）是第１层的激活函数。??前馈神经网络通过调整祌经元的参数来找出输入和输出之间的线性或者非线性的??数学映射关系。由于前馈祌经网络具有模拟和处理复杂非线性过程的能力，擅长识别非??结构化数据中的模式，在特征识别和分类任务上效果较好，因此在各类学科中都有许多??应用。前馈祌经网络结构简单，可以构建大规模的祌经网络模型，特征学习能力强大，??但是由于输出层神经单元数量固定，不能很好地应对变长序列数据。因此在自然语言处??理任务中，前馈祌经网络通常作为深度祌经网络模型的全连接层
图像处理须域，其在图像的分类、识别等任务上远超传统机器学习算法模型，近年来也??广泛地应ｎｉ到文本、语音处理等须域。一个用于语言文本特征学习的基础卷积神经网络??模型示意图如图２￣４所示：??我■■睡?ｒ．?■??喜欢?１?■?１?－??北极?》?—ｓ?＞１??的??风景??输入?卷积层?池化层?全连接层输出层??图２－４卷积神经网络模型??Ｆｉｇ．２－４?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｍｏｄｅｌ??输入是由词向量纟Ｕ成的向量矩阵，每一行向量代表－个间语。由＞１个词语组成的矩??阵的向量矩阵表示为：??Ｘ?＝?［ｘ１（ｘ２，?．．，ｘｎ］?（２－３）??卷积层：卷积层－般由多个卷积过滤器组成，不同的卷积过滤器可以从输入中学习??不同的特征，并且深层的卷积层可以在浅层的学习基础上进一步学习复杂的特征。卷积??运算的目的是从输入中学习局部的特征，每一步的卷积计算如下：??４＝八〇丨?＋?办）?（２－４）??其中Ｗ和ｂ是卷积过滤器的权重参数和偏置值，通过反向传播好法付卷枳过滤器??的权重参数进行学习优化可以实现特定的特征提取功能。ｆ（ｘ）是激沾函数。Ａ＇度为ｈ的??卷积过滤器在－步卷积ｉｌ？算中对ｈ个词进行特征提取，经过多步卷积操作后完成对整个??句子的处理
【参考文献】：
期刊论文
[1]银行领域汉语自动问答系统BAQS的研究与实现[J]. 樊孝忠,李宏乔,李良富,叶江. 北京理工大学学报. 2004(06)
[2]基于网络的中文问答系统及信息抽取算法研究[J]. 崔桓,蔡东风,苗雪雷. 中文信息学报. 2004(03)
[3]自动问答综述[J]. 郑实福,刘挺,秦兵,李生. 中文信息学报. 2002(06)
本文编号：3417589
【文章来源】：广西大学广西壮族自治区 211工程院校
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
图２－３词向量的二维可视化??Ｆｉｇ．２－３?２Ｄ?ｖｉｓｕａｌｉｚａｔｉｏｎ?ｏｆ?ｗｏｒｄ?ｖｅｃｔｏｒｓ??可以看到语义相近的词，在二维平面的位置相近
层是输入层，最后一层是输出层，而中间的层都是隐藏层。前馈神经网络中的每一层之??间都是是全连接的，也就是说第ｉ层的任意一个神经元不仅与ｉ－ｌ层的所有祌经元相连??接，也与ｉ＋１层的所有神经元相连。三层前馈神经网络模型的结构如图２－３所示：??输Ａｇ?隐賴?输出层??图２－３三层前馈神经网络模型??Ｆｉｇ．２－３?Ｔｈｒｅｅ－ｌａｙｅｒ?ｆｅｅｄｆｏｒｗａｒｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｍｏｄｅｌ??前馈祌经网络前向传播根据以下公式进行数据计算：??Ｚ？?＝?Ｗ（ｌ）Ａ＾?＋?（２－１）??Ａ（ｉ）?＝?（２－２）??其中，Ａ（ｌ－１〕是上一层网络的激活函数值，和ｂ（１）是第１层的权重参数和偏置值。??ｆｉ（ｘ）是第１层的激活函数。??前馈神经网络通过调整祌经元的参数来找出输入和输出之间的线性或者非线性的??数学映射关系。由于前馈祌经网络具有模拟和处理复杂非线性过程的能力，擅长识别非??结构化数据中的模式，在特征识别和分类任务上效果较好，因此在各类学科中都有许多??应用。前馈祌经网络结构简单，可以构建大规模的祌经网络模型，特征学习能力强大，??但是由于输出层神经单元数量固定，不能很好地应对变长序列数据。因此在自然语言处??理任务中，前馈祌经网络通常作为深度祌经网络模型的全连接层
图像处理须域，其在图像的分类、识别等任务上远超传统机器学习算法模型，近年来也??广泛地应ｎｉ到文本、语音处理等须域。一个用于语言文本特征学习的基础卷积神经网络??模型示意图如图２￣４所示：??我■■睡?ｒ．?■??喜欢?１?■?１?－??北极?》?—ｓ?＞１??的??风景??输入?卷积层?池化层?全连接层输出层??图２－４卷积神经网络模型??Ｆｉｇ．２－４?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｍｏｄｅｌ??输入是由词向量纟Ｕ成的向量矩阵，每一行向量代表－个间语。由＞１个词语组成的矩??阵的向量矩阵表示为：??Ｘ?＝?［ｘ１（ｘ２，?．．，ｘｎ］?（２－３）??卷积层：卷积层－般由多个卷积过滤器组成，不同的卷积过滤器可以从输入中学习??不同的特征，并且深层的卷积层可以在浅层的学习基础上进一步学习复杂的特征。卷积??运算的目的是从输入中学习局部的特征，每一步的卷积计算如下：??４＝八〇丨?＋?办）?（２－４）??其中Ｗ和ｂ是卷积过滤器的权重参数和偏置值，通过反向传播好法付卷枳过滤器??的权重参数进行学习优化可以实现特定的特征提取功能。ｆ（ｘ）是激沾函数。Ａ＇度为ｈ的??卷积过滤器在－步卷积ｉｌ？算中对ｈ个词进行特征提取，经过多步卷积操作后完成对整个??句子的处理
【参考文献】：
期刊论文
[1]银行领域汉语自动问答系统BAQS的研究与实现[J]. 樊孝忠,李宏乔,李良富,叶江. 北京理工大学学报. 2004(06)
[2]基于网络的中文问答系统及信息抽取算法研究[J]. 崔桓,蔡东风,苗雪雷. 中文信息学报. 2004(03)
[3]自动问答综述[J]. 郑实福,刘挺,秦兵,李生. 中文信息学报. 2002(06)
本文编号：3417589
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3417589.html
