基于语义的句子表征及推理

发布时间：2023-02-14 18:09

　　随着人工智能的发展,人们愈发希望计算机能够通过自然语言技术理解人类的语言,像人类一样学习思考,最终代替人类去完成具有认知能力的高难度任务。句子表征推理技术作为自然语言理解的关键技术,目前的研究优化内容主要集中在句子表征方法和推理模型两个方面,虽然性能也有提升,但是仍存在句子语义表达不全面、推理模型缺乏深度、推理过程缺乏可解释性等问题。本文针对以上问题,对句子表征推理技术进行了研究,具体研究工作如下:(1)针对句子表征方法表达信息不全面的问题,设计了一种多层语义表征网络应用于句子表征,通过多头注意力机制获取句子不同层面的语义信息,同时还通过添加词语间的相对位置掩码,融入句子的语序信息,减少语序带来的不确定性。最后在文本蕴含识别任务和情感分类任务上对该方法进行了验证,实验结果表明,多层语义表征网络对于提升句子表征的准确性和全面性有促进作用。(2)针对推理模型缺乏推理深度和可解释性的问题,设计了一种深度融合匹配网络,主要包括编码层、匹配层、依存卷积层、信息聚合层和推理预测层。在深度匹配网络的基础上对匹配层进行了改进,利用启发式匹配算法替换双向长短记忆神经网络简化交互融合,在提升推理深度的同时...

【文章页数】：84 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 句子表征推理研究现状
        1.2.1 句子表征研究现状
        1.2.2 语义推理研究现状
    1.3 研究内容与方法
    1.4 章节安排
第二章 基于多层语义网络的句子表征方法
    2.1 句子表征方法概述
        2.1.1 自然语言语义的特点
        2.1.2 基于双向长短记忆网络的语义提取技术
        2.1.3 多头注意力机制的优势
    2.2 基于多头注意力的语义表征网络设计
        2.2.1 自然语言句子向量化
        2.2.2 多层语义信息提取与强化
        2.2.3 句子嵌入表征生成
    2.3 实验与分析
        2.3.1 实验数据与实验步骤
        2.3.2 评价指标与参数设置
        2.3.3 结果概述与分析
        2.3.4 消融分析
    2.4 本章小结
第三章 基于深度融合匹配网络的语义推理模型
    3.1 语义推理模型框架
    3.2 推理信息提取方法
        3.2.1 基于AF-DMN的匹配模型
        3.2.2 基于树形卷积网络的句法结构提取
    3.3 基于深度融合匹配网络的推理模型设计
        3.3.1 句子编码化
        3.3.2 基于改进AF-DMN的局部推理建模
        3.3.3 基于d-TBCNN的句法结构建模
        3.3.4 全局推理信息融合
        3.3.5 结果推理预测
    3.4 实验与分析
        3.4.1 实验数据与参数设置
        3.4.2 预测准确率分析
        3.4.3 性能分析
        3.4.4 消融分析
    3.5 本章小结
第四章 多层语义与深度融合匹配网络的联合优化
    4.1 基于多层语义和SCF-DMN的联合优化方法设计
        4.1.1 自然语言文本预处理模块
        4.1.2 基于多层语义网络的句子表征模块
        4.1.3 基于SCF-DMN的关系推理模块
        4.1.4 结果预测模块
    4.2 实验方案设计
        4.2.1 无模块优化
        4.2.2 单独优化
        4.2.3 组合优化
        4.2.4 联合优化
    4.3 实验与分析
        4.3.1 实验数据与参数配置
        4.3.2 结果概述与分析
        4.3.3 优化方式分析
        4.3.4 各模块性能变化分析
    4.4 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
致谢
参考文献
攻读硕士期间取得的成果



本文编号：3742763