基于注意力机制的序列数据分类模型研究

发布时间：2025-02-13 19:52

　　序列数据分类是数据挖掘领域的热点问题,该任务的本质是为给定的序列分配一个预定义的标签。针对序列数据的分类问题,已有许多研究工作,它们大致可以分为以下三类:基于特征、基于距离和基于模型的方法。前两类方法由于人工特征的设计和距离计算,将消耗大量时间且需要专业的背景知识,同时这些方法很难建模序列的依赖关系和提取多尺度特征,而随着深度学习的发展,神经网络模型依靠其模型结构和反向传播算法可以端到端的提取样本特征。另外,序列数据中含有大量信息,但目前大多数序列分类方法无法针对具体样本自适应地挖掘序列数据,而注意力机制作为一种模仿生物观察行为的方法,近年来在计算机视觉领域飞速发展,其可以针对具体样本自适应地选择合适的特征。因此本文将在深度学习结合注意力机制的方向上作出探索,主要研究工作包括以下两个方面:(1)本文提出一种基于注意力机制的变量相关性挖掘网络(Attention-based Variable Correlation Mining Network,VCM-Net)应用于多变量时间序列分类领域。该模型先通过稀疏的多尺度卷积滤波器提取变量相关性特征,然后采用注意力机制为每个样本自适应地选择这些特...

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

图2-2LeNet-5卷积神经网络结构图

图2-1“右手扔”动作的执行过程图，从左至右为时间演化方向2.3多尺度卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork，CNN）最开始由Lecun等人[74]提出，在2012年Krizhevsky等人[14]凭借Alex-Ne....

图2-1“右手扔”动作的执行过程图，从左至右为时间演化方向

图2-1“右手扔”动作的执行过程图，从左至右为时间演化方向多尺度卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork，CNN）最开始由Lecun等人[74]提012年Krizhevsky等人[14]凭借Alex-Net获得Ima....

图2-3多尺度卷积神经网络结构图

所谓多尺度是指在同一层卷积操作中采用大小不同的卷积核获取多种尺度特征。如图2-3所示，具体以多变量时间序列为例讲述multi-scaleCNN，如果输入是文本序列则变量维度变成词向量的维度，时间维度表示文本中词的顺序方向。

图2-4LSTM单元结构图

图2-4LSTM单元结构图[75]本节将以时间序列数据ǖǖǖ为例，描述LSTM单元的更新过程，以下几步：（1）首先初始化连接权重和偏置，根据上一时刻隐藏层状态和当前算候选记忆单元激活值：x（ǖ....

本文编号：4034030