基于注意力机制的特征选择：一种面向海量复杂数据的高效架构

发布时间：2022-02-17 09:59

　　特征选择技术作为数据挖掘领域的重要研究方向,通过从原始特征集合中选取一组最有用的特征子集,具有诸多作用:有效解决“维数灾难”,降低模型的复杂度;使数据变得更易理解,有助于数据分析。然而,随着信息技术的迅猛发展,数据的获取变得越来越容易,这也使得特征选择所面对的数据形式发生了巨大的变化:样本规模日益增大,特征维度急剧膨胀,数据内部结构日趋复杂。现有的特征选择方法不管是从计算模式还是从技术方法的设计上来说都难以较好地应对这些变化,存在着很多缺陷。因此,如何面向海量复杂的数据进行高效的特征选择成为一个具有重要研究意义的课题。基于深度学习的特征选择研究是目前特征选择技术的前沿研究领域,被认为具有处理海量数据的能力,可以有效应对大数据下的特征选择。然而,目前该领域的研究工作目前还难以应对复杂数据下的特征选择:当数据发生复杂变化时（比如添加噪声干扰、标注样本急剧减少、样本特征为时序结构等）,目前特征选择方法的性能往往不稳定甚至失效。本文从一个全新的角度来考虑特征选择机制,在结合深度学习技术的基础之上,提出了一个全新的基于注意力模型的特征选择架构。具体的研究工作如下:1)针对特征选择在大样本数据中难... 

【文章来源】：浙江理工大学浙江省

【文章页数】：55 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 选题背景
    1.2 特征选择综述
        1.2.1 经典特征选择技术
        1.2.2 特征选择技术发展前沿
    1.3 本文主要研究工作及创新点
    1.4 论文结构和章节内容
第二章 相关知识
    2.1 前言
    2.2 机器学习模型概述
    2.3 神经网络概述
    2.4 注意力机制概述
    2.5 小结
第三章 基于注意力机制的特征选择架构
    3.1 前言
    3.2 AFS
        3.2.1 结构设计
        3.2.2 注意模块
        3.2.3 学习模块
    3.3 实验结果及分析
        3.3.1 实验设置
        3.3.2 分类器选择
        3.3.3 建模准确率分析
        3.3.4 计算复杂度分析
    3.4 小结
第四章 基于混合策略的AFS方法
    4.1 前言
    4.2 混合策略
    4.3 实验结果及分析
        4.3.1 实验设置
        4.3.2 建模准确度分析
    4.4 小结
第五章 基于多层注意力模型的AFS方法
    5.1 前言
    5.2 多层注意力模型
    5.3 实验结果及分析
        5.3.1 数据准备
        5.3.2 性能分析
        5.3.3 特征权重可视化分析
    5.4 小结
第六章 结论与展望
    6.1 结论
    6.2 下一步工作与展望
参考文献
在读硕士期间取得的科研成果
致谢


【参考文献】：
期刊论文
[1]数据挖掘技术的综述[J]. 王雅轩,顼聪.  电子技术与软件工程. 2015(08)

博士论文
[1]高维问题中的小样本学习[D]. 陶大鹏.华南理工大学 2014



本文编号：3629232