基于MapReduce的深度学习混合模型文本分类研究

发布时间：2024-06-30 08:16

　　随着大数据时代的发展,“信息爆炸”成为人类不得不面对的严峻问题,而且文本信息占主要地位。传统的文本分类方法已经无法处理大数据背景下规模大、维度高、结构多样化的文本数据了。如何处理大数据面临的技术问题和挑战,高效的管理和组织这些信息,成为人们需要迫切解决的问题。深度学习是具有多层神经网络的深层非线性映射结构,可以利用较少的参数完成复杂的函数逼近,对文本数据进行多层的特征学习,从而提高分类准确率。MapReduce是面向大数据的高性能并行化处理的计算模型、平台和框架,其可以很好的解决海量文本数据分类过程中空间存储量不足和时间消耗长的问题。本文利用MapReduce并行计算框架和深度学习算法来进行文本分类。具体研究结果如下:1、提出了一种改进的DAE文本特征学习方法:针对传统降噪自动编码器(DAE)模型在特征表达过程中收敛速度较慢,训练时间较长的问题。对其进行了附加自适应学习率和动量项的改进(Mom-Ada-DAE)。最后通过分别使用KNN分类算法、传统DAE和Mom-Ada-DAE模型进行文本分类实验对比。实验证明,其Mom-Ada-DAE可以有效的降低DAE对于误差曲面局部细节的敏感性,...

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 文本分类国内外研究现状
        1.2.2 深度学习国内外研究现状
        1.2.3 MapReduce技术国内外研究现状
    1.3 论文结构和创新点
        1.3.1 论文结构
        1.3.2 论文创新点
    1.4 本章小结
第2章 相关技术研究
    2.1 深度学习文本分类相关技术研究
        2.1.1 深度学习文本分类概述
        2.1.2 深度学习文本分类步骤
        2.1.3 分类性能评价指标
        2.1.4 深度学习文本分类算法
    2.2 MapReduce相关技术研究
        2.2.1 MapReduce概述
        2.2.2 MapReduce框架组成
        2.2.3 MapReduce的工作流程
        2.2.4 深度学习MapReduce过程
    2.3 本章小结
第3章 基于AdaGrad和Momentum的改进降噪自动编码器文本分类研究
    3.1 传统降噪自动编码器(DAE)的不足
    3.2 附加AdaGrad和Momentum的改进降噪自动编码器
        3.2.1 附加自适应学习率(Ada-DAE)
        3.2.2 附加动量项(Mom-DAE)
    3.3 基于改进的降噪自动编码器文本分类
    3.4 实验
        3.4.1 实验环境
        3.4.2 实验数据集
        3.4.3 实验参数设置
        3.4.4 实验结果分析
    3.5 本章小结
第4章 基于深度学习混合模型的文本分类研究
    4.1 深度学习混合模型的设计
    4.2 基于深度学习混合模型的文本分类
        4.2.1 预处理模块
        4.2.2 文本表示模块
        4.2.3 特征学习模块
        4.2.4 分类识别模块
        4.2.5 分类效果评价
    4.3 实验
        4.3.1 实验环境
        4.3.2 实验数据集
        4.3.3 实验参数设置
        4.3.4 实验结果分析
    4.4 本章小结
第5章 基于MapReduce的深度学习混合模型的应用
    5.1 基于MapReduce的深度学习混合模型文本分类
        5.1.1 预处理的并行化
        5.1.2 VSM文本表示并行化
        5.1.3 Mom-Ada-DABN分类模型并行化
    5.2 实验
        5.2.1 实验环境
        5.2.2 实验数据集
        5.2.3 Hadoop环境安装
        5.2.4 实验结果分析
    5.3 本章小结
第6章 总结与展望
参考文献
致谢
在学期间主要科研成果
    一、发表学术论文
    二、其它科研成果



本文编号：3998576