基于深度迁移的LSTM文本分类关键技术研究与分析

发布时间：2022-04-19 19:23

　　基于深度学习的文本分类是一项非常依赖标记数据的有监督学习任务,高质量大规模的标记数据集通常很难获得,人工标记数据的成本过于高昂。针对这一现象,本论文研究了使用深度迁移学习技术解决这一问题的可行性和适用性,通过利用未标记数据和相关领域的标记数据,降低对目标领域标记数据的依赖程度。在基于任务的迁移和基于领域的迁移两个方面对LSTM文本分类模型（Long Short Term Memory Based Classification Model）提出了改进与创新,本文主要研究工作如下:（1）对LSTM文本分类模型和深度迁移学习技术进行了介绍。在基于任务的深度迁移方面,分析了SA自编码器（Seq2seq Autoencoder）的结构及其作为源任务的深度迁移方法。在基于领域的深度迁移方面,对传统跨领域迁移学习方法进行了研究。（2）针对SA自编码器捕捉文本表示特征能力较弱的问题,本文将对抗训练引入SA自编码器,使其能够在无监督状态下,从被对抗扰动破坏的输入中重构原文,不再是对输入文本的简单复制。此外,本文使用Bi-LSTM网络构造编码器,使其能够根据前后文的双向信息进行语义编码,并使编码结果参与每... 

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 课题研究背景及意义
    1.2 国内外研究现状
        1.2.1 文本分类技术研究现状
        1.2.2 迁移学习技术研究现状
    1.3 论文研究内容及组织结构
        1.3.1 论文主要研究内容
        1.3.2 论文组织结构
    1.4 本章小结
第2章 LSTM文本分类与深度迁移
    2.1 基于LSTM网络的文本分类技术
        2.1.1 LSTM网络
        2.1.2 Softmax分类器
        2.1.3 LSTM文本分类模型
    2.2 深度迁移学习技术
        2.2.1 迁移学习定义及分类
        2.2.2 深度迁移学习方法简介
        2.2.3 神经网络的迁移与训练
    2.3 基于深度迁移的文本分类模型
        2.3.1 RNNLM语言模型
        2.3.2 以RNNLM为源任务的深度迁移
    2.4 本章小节
第3章 改进的SA自编码器及其深度迁移
    3.1 SA自编码器模型及其深度迁移方法研究
        3.1.1 Seq2seq架构研究
        3.1.2 SA自编码器模型
        3.1.3 以SA自编码器为源任务的深度迁移方法
    3.2 改进的SA自编码器模型构建及其深度迁移
        3.2.1 AdvSA自编码器特点概述
        3.2.2 引入对抗训练的嵌入层
        3.2.3 改进的编码器与解码器
        3.2.4 解码器词汇表构建
        3.2.5 以改进的SA自编码器为源任务的深度迁移
    3.3 本章小节
第4章 基于跨领域迁移的文本分类模型
    4.1 领域差异度量
    4.2 传统跨领域迁移学习方法研究
        4.2.1 数据分布自适应方法
        4.2.2 特征选择方法
    4.3 AM-AdpLSTM文本分类模型构建
        4.3.1 网络自适应与注意力机制原理
        4.3.2 AM-AdpLSTM模型特点概述
        4.3.3 AM-AdpLSTM模型网络结构
        4.3.4 特征选择层内部机制
        4.3.5 自适应层及模型损失
    4.4 任务与领域共同迁移的文本分类模型构建
    4.5 本章小结
第5章 实验结果及分析
    5.1 文本分类评价指标
    5.2 实验环境
    5.3 基于自编码器任务迁移的文本分类实验
        5.3.1 实验设计
        5.3.2 实验数据集及预处理
        5.3.3 模型结构及参数设置
        5.3.4 模型参数评估
        5.3.5 实验结果分析
    5.4 基于跨领域迁移的文本分类实验
        5.4.1 实验设计
        5.4.2 实验数据集及预处理
        5.4.3 模型结构及参数设置
        5.4.4 模型参数评估
        5.4.5 实验结果分析
    5.5 本章小结
总结与展望
致谢
参考文献
攻读硕士学位期间发表的论文及科研成果



本文编号：3646491