基于深度学习的FAQ问答系统实现

发布时间：2022-04-18 21:19

　　传统的检索式问答系统,通过字面相似度进行匹配,可以快速检索出相应的内容,但是准确率不高。而基于深度学习的问答系统能够有效解决准确率的问题,但是,训练阶段通常依赖大量的数据资源,而且预测时需要较多的计算时间。文中提出了一个以文本匹配为核心的FAQ问答系统,该系统由文本检索,文本匹配两大部分组成。文本检索部分通过快速筛选,减少了系统用时和文本匹配阶段的数据计算量。文本匹配部分采取了预训练和微调两阶段的训练方式。预训练由自然语言处理领域最新的BERT模型完成,使用少量数据以及计算资源,即可获得较高的准确率。为了进一步提升匹配的准确率,在微调阶段做出了以下改进。首先在BERT模型的基础上,使用融入了Attention机制的卷积神经网络,进行局部特征的提取和重要性区分,在测试数据集上,取得了比BERT模型更好的成绩。其次,在上述模型的基础上引入协同训练算法Tri-Training,通过多个分类器的差异化学习,来提升模型整体的语义能力。进一步,Tri-Training训练算法在提升模型性能的同时,也给分类器带入了噪声,为了降低噪声的影响,为每个分类器加入了一个可动态调整的概率阈值。结合以上几种方法... 

【文章页数】：49 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究概况
    1.3 本文研究内容
    1.4 论文框架
2 问答系统整体框架与相关技术介绍
    2.1 问答系统整体框架
    2.2 数据构建方式选择
    2.3 基于深度学习的语义相似度技术介绍
    2.4 本章小结
3 问答系统中基于混合方式的文本检索实现
    3.1 基于词汇重合度的BM25 特征方法
    3.2 基于浅层语义的主题模型LDA
    3.3 基于浅层语义的嵌入模型DOC2VEC
    3.4 本章小结
4 问答系统中基于深度学习的文本匹配实现
    4.1 文本匹配中预训练模型的原理和特性
    4.2 文本匹配中协同训练算法的实现
    4.3 文本匹配中微调阶段的改进
    4.4 本章小结
5 问答系统测试
    5.1 文本检索数据集及混合方式测试结果
    5.2 文本匹配数据集与评价标准
    5.3 文本匹配模型设计与测试结果分析
    5.4 本章小结
6 总结与展望
    6.1 全文总结
    6.2 研究展望
致谢
参考文献



本文编号：3646381