基于开放领域知识库的自动问答研究

发布时间：2021-01-08 00:56

　　近年来涌现了一批覆盖领域范围广、数据规模大的公开知识库,如YAGO、Freebase、DBpedia、Google Knowledge Graph等,也促使基于开放领域知识库的问答研究成为了非常火热的一个研究方向。其中,结合深度学习方法的知识库问答技术研究日益流行,并且在性能表现上展现出了良好的前景。借鉴现有的主流方法将知识库问答看作一个流水线上的多个任务模块的思想,将其分为主语检测,实体链接和关系检测三个模块并逐一解决。针对上游模型的错误传播对下游模型的性能影响问题,将主语检测任务看作专用序列标注模型,采用先进的语言模型方法,利用上下文字符串语言模型生成词嵌入使得其具有语义语境化能力,增强上游模型性能。为提高主语实体的召回率,设计了两种候选池策略,并从表面文本级和上下文语义级对候选主语实体集合进行修剪,改善了实体链接结果的质量。为了弥补修剪步骤的不足,通过联合关系检测模型对候选主语实体集合进行再次筛选,进一步提升问答总体准确率。为了在关系检测模型中捕获上下文更深层的语义特征,设计了多层残差思想双向长短时记忆网络编码器,与多粒度关系进行四种模式的匹配,达到从局部信息和全局信息上进行更全... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

字符级语言模型建模示例图

图 2-2 主语检测模型图本文的主语检测模型如图 2-2 所示，我们利用预训练的堆叠的上下文字符串与 GloVe 词嵌入表示问题，然后输入由 Huang 等人[44]提出的 BiLSTM-CRF进行训练。 本章小结本章首先介绍了本文在知识库自动问答的总体解决思路，接着描述了流水线的第一个任务模块，主语检测模块，并将这个模块视为特定的序列标注任务，每个问题被标注为主语提及和问题模式两部分。本章详细阐述了主语检测型的思想与设计，本文注重于提升主语检测的性能以缓解该模块产生的对流游任务的错误传播影响。为此，本文应用新型的上下文字符串词嵌入使得词有更丰富的特征，通过捕获上下文语义使得多义词能够根据语境来生成不同入，从字符级建模单词可以更好地处理罕见和拼写错误的单词，也可以更好

25图 4-1 Transformer 模型结构图Transformer 的总体模型结构如图 4-1 所示，模型可以分为左侧的编码器和右码器两个部分。编码器是由多个相同的块堆叠在一起，每一个内又有两个子第一个子层是 Multi-Head 的自注意力机制，第二个子层是一个全连接前馈从左侧图中还可以看到，每个子层外面还有一个残差连接操作和层标准化操解码器也是堆叠了相同的多个块，每个块与左侧结构类似，不过除了 Multi-H注意力层和全连接前馈网络层以外，还添加了一个注意力层，这可以帮助解注于与输入句子中对应的那个单词。Transformer 将单词编码为 512 维度的向量输入到编码器中，此外，Transfor只依靠自注意力机制，所以模型无法像 RNN 一样自动捕获序列的顺序信息如果缺失这个信息，即便所有词语都对了，却无法组成有意义的语句。为了


本文编号：2963587