基于特定数据集的机器阅读理解模型设计

发布时间：2021-09-14 21:02

　　自然语言处理,作为现今AI一个引人注目的领域,主要探索自然语言和计算机之间的交互关系.其中,使机器具有像人类一样的阅读理解能力,吸引了众多研究者的关注.如果一台机器具有优秀的阅读理解水平,那么在人类生活中,许多应用显示出的智能水平,就会更接近人类,从而更好地服务人类.机器阅读理解有多种形式,其中片段抽取型是研究的热点.伴随高质量数据集的出现,基于深度学习的各种性能优异的模型也被相继推出.在SQuAD数据集上,给定问题,答案限定为文本的一个片段,而现有模型的基本架构都可以概括为嵌入层、编码层、交互层和输出层4个部分,其中在编码层都使用循环神经网络进行编码,使上下文的语义信息融合进文本和问题单词的向量表示.本文尝试使用卷积神经网络在编码层对文本和问题进行编码.在实证分析部分,基于SQuAD数据集,首先实现一个包含循环神经网络编码层的基线模型,其中在输出层使用一个滑动窗口避免模型在预测时输出为空.其次,依据对训练数据集的统计分析,实现一个基于多层卷积运算的编码层,替换基线模型的原始编码层作为改进模型.通过实验分析,改进模型在给定评价指标上的表现稍逊于基线模型,但在参数数量、迭代速度上占优,模... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：47 页

【学位级别】：硕士

【部分图文】：

前馈神经网络图像

图 2-2 Sigmoid 函数图像还有双曲正切函数[25]f ( x ) Tanh( x)：e eTanh( )e ex xx xx . 2-3 所示为 Tanh 函数.图 2-3 Tanh 函数图像

9图 2-3 Tanh 函数图像数和 Tanh 函数具有明显的挤压作用, 因为其在大部零, 仅仅当 x 在0附近才有一个较高的梯度, 这会使困难.元[26]（Rectified Linear Unit, ReLU）是目前神经网如下公式：f ( x ) max(0, x).


本文编号：3395523