基于Attention机制的自动问答技术研究

发布时间：2021-01-20 11:35

　　自然语言理解为核心技术的自动问答（Question Answering,QA）是评价机器语言认知智能的重要任务,是由机器自动回答用户提出的问题以满足用户知识需求的任务。受益于互联网数据的飞速增长、计算机硬件计算能力的大幅度提升以及以深度学习为背景的自然语言处理技术的成熟,智能问答技术在近年来取得了突飞猛进的发展,同时在生活中具有广泛的应用场景。自然语言表达的丰富多样性给自然语言理解带来极大的挑战。在现实中,用户的问题具有多样性和不同程度的复杂性,准确的理解并回答问题具有很高的难度。本文借助注意力机制（Attention）以及深度学习技术,有效挖掘隐藏在语言表达中的深层语义信息,充分的理解用户查询意图,实现正确回答。本文的研究工作主要包括如下几部分:（1）建立了基于Scaled Dot-Product Attention机制的多模块层次化问答模型。采用字符级的词嵌入有效解决未登录词问题;通过Dot-Product实现注意力分布的捕获,并进一步融合篇章和问题之间的交互信息;基于自匹配的注意力机制解决了远距离依赖问题,为正确预测答案提供了有效的决策信息。（2）设计并构建了基于迁移学习的生物医... 

【文章来源】：北京工业大学北京市 211工程院校

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

神经语言模型

北京工业大学工程硕士专业学位论文词对应的向量为正交，缺乏相关性。为了更好的进行词向量的ord2vec[50]进行词向量训练，将词转换为稠密向量表示。Wordle 于 2013 年开源的将词表示为向量的高效工具，利用浅层神经，Word2vec 模型分为两种，分别为 Skip-Gram 和 CBOW，模

Residual结构

【参考文献】：
期刊论文
[1]融合深度匹配特征的答案选择模型[J]. 冯文政,唐杰.  中文信息学报. 2019(01)
[2]基于多篇章多答案的阅读理解系统[J]. 刘家骅,韦琬,陈灏,杜彦涛.  中文信息学报. 2018(11)
[3]T-Reader:一种基于自注意力机制的多任务深度阅读理解模型[J]. 郑玉昆,李丹,范臻,刘奕群,张敏,马少平.  中文信息学报. 2018(11)
[4]面向阅读理解的多对一中文文本蕴含问题研究[J]. 陈千,陈夏飞,郭鑫,王素格.  中文信息学报. 2018(04)
[5]面向限定领域问答系统的自然语言理解方法综述[J]. 王东升,王卫民,王石,符建辉,诸峰.  计算机科学. 2017(08)
[6]基于依存句法分析的复合事实型问句分解方法[J]. 刘雄,张宇,张伟男,刘挺.  中文信息学报. 2017(03)



本文编号：2988970