基于多尺度全卷积网络和交叉聚类算法的时间序列分类
发布时间：2021-10-21 18:37
时间序列数据是一种常见的数据形式,普遍存在于日常生活的各个领域,与我们的生活工作息息相关。发现生活中的一些潜在的规律,并应用于商业活动,因此对时间序列深入研究具有重要意义。时间序列定义的范围比较广泛,不仅包括随时间变化的序列,还包括具有一定逻辑关系的序列。在时间序列分类问题（Time Series Classification,TSC）领域,公认的基线模型为基于动态时间规整的最近邻算法。最近两年基于全卷积网络的时间序列分类模型表现突出,明显优于其他方法。因此,本文主要围绕时间序列分类问题和全卷积方法,进行了模型改进和优化,并提出了多尺度全卷积网络、交叉聚类数据变换、基于分段的时间序列预测方法。本文主要贡献如下:1)由于对时间序列分类起作用的特征尺度是不固定的,因此单一的全卷积网络不能够有效的提取不同尺度的特征。针对此问题,本文提出了一维多尺度全卷积网络MFCN,使得全卷积网络FCN能够检测多种尺度的序列特征,进而提升模型的分类准确度。相比于最近几年比较优秀的十个时间序列分类模型,在44组UCR数据集中,本文提出的MFCN模型分类性能最好。2)提出交叉聚类算法,该算法与传统的聚类算法的区...
【文章来源】：东华大学上海市 211工程院校 教育部直属院校
【文章页数】：70 页
【学位级别】：硕士
【部分图文】：
集成学个体学习器T
第二章相关研究工作13图2-4全卷积网络（FullConvolutionalNetwork,FCN）2.5.1全卷积神经网络近年来，全卷积网络FCN在图像语义分割[43]、时间序列分类等领域表现较好[12,44]。FCN在时间序列分类问题中的结构如图2-4所示[12]，该网络由三个卷积层和softmax层构成，卷积层的输出经globalpooling后到达softmax层。每个卷积层由一维卷积操作、batchnormalization（BN）和ReLU构成，卷积的作用是提取时间序列的特征，BN的作用是加速网络的训练的和提高网络的泛化能力[29]，ReLU的作用是使得网络具有非线性拟合能力[45]，每层卷积可表述为公式2-4。x+b()Re().yWsBNyhLUs===(2-4)其中，表示卷积操作。三个卷积层的通道个数分别为128，256和128，一维卷积核大小依次为8、5和3，滑动步长为1。Globalpooling使用全局最大池化，是一种特征提取的方法，也是一种降维的方法，相对于全连接层具有更好地泛化能力，并且没有可训练的参数，因此加快了网络的训练速度。softmax层的功能是实现网络的多分类任务，公式如下：softmax()ijjeie.(2-5)损失函数采用交叉熵，公式如下：1c[ylna(1-y)ln(1-a)]n.(2-6)其中y代表真实值分类（0或1），a代表预测值。
第三章基于FCN网络的多尺度特征集成学习17集成学习方法，该方法相比于一般基学习模型往往具有更好的性能。在第二章中已经介绍了集成学习的方法，为此，本小节将介绍一维卷积过程。3.2.1一维卷积在信号、图像处理等领域，卷积操作是一种使用广泛的技术。在深度学习领域，卷积神经网络（ConvolutionalNeuralNetwork，CNN）模型架构就得名于这种技术，成为了深度学习的基石技术之一[50]。在深度学习中，对于原始序列12[x,x,...,x]TxX，卷积核12[c,c,...,c]mc5，对原始一维数据卷积，输出为121[o,o,...,o]TmoQ_;_，其中1111ox*cx*c,...x*ciiiiiimim(3-1)图3-1卷积层输出与原始数据特征尺度的对应关系图3-1为卷积层的输出与输入的对应关系，第一层网络卷积核为1*8，第二层卷积核为1*5，第三层卷积核为1*3。第三层卷积输出的每个值都是通过对第二层卷积输出的三个值进行卷积得到的，同理，第二层卷积输出的每个值都是通过对第一层卷积输出的五个值进行卷积得到的，而第一层卷积输出的每个值都是通过对输入序列的八个值进行卷积得到的。即模型中第三个卷积层的每个输出值代表原序列长度为14的一个局部特征。按照这种关系，对原始时间序列从一段卷积到另一端，其中卷积核参数是共享的，进行滑动卷积，这大大减少了卷积网络的参数，同时使得卷积具有了特征的平移不变性。
【参考文献】：
期刊论文
[1]时间序列聚类的期刊参考文献与引证文献来源分析研究[J]. 李海林,黄思雨. 情报科学. 2019(10)
[2]基于改进K-modes聚类的KNN分类算法[J]. 王志华,刘绍廷,罗齐. 计算机工程与设计. 2019(08)
[3]基于聚类的环形kNN算法[J]. 匡振曦,武继刚,李嘉兴. 计算机工程与科学. 2019(05)
[4]基于shapelet的时间序列分类研究[J]. 闫汶和,李桂玲. 计算机科学. 2019(01)
[5]基于BP和朴素贝叶斯的时间序列分类模型[J]. 王会青,郭芷榕,白莹莹. 计算机应用研究. 2019(08)
[6]局部聚类分析的FCN-CNN云图分割方法[J]. 毋立芳,贺娇瑜,简萌,邹蕴真,赵铁松. 软件学报. 2018(04)
[7]基于动态集成决策树的多类别时间序列分类模型[J]. 徐雷,Geoff I Webb,Francois Petitjean,张阳. 计算机应用研究. 2018(06)
[8]基于Shapelet剪枝和覆盖的时间序列分类算法[J]. 原继东,王志海,韩萌. 软件学报. 2015(09)
博士论文
[1]稀疏图子空间学习算法研究[D]. 吴云松.重庆大学 2017
[2]数据降维算法研究及其应用[D]. 张田昊.上海交通大学 2008
硕士论文
[1]基于全卷积神经网络的室内场景分割算法研究[D]. 黄龙.西安理工大学 2019
[2]时序数据二分类问题的等距短shapelet转换算法[D]. 舒伟博.中国科学技术大学 2019
[3]基于DTW和LMNN的多维时间序列相似性分析方法[D]. 沈静逸.浙江大学 2017
[4]基于DTW距离的时间序列相似性查询和shapelets分类算法研究[D]. 孙宏伟.太原理工大学 2016
[5]基于支持向量机的单变量非线性时间序列研究[D]. 卜亚男.华南理工大学 2014
本文编号：3449517
【文章来源】：东华大学上海市 211工程院校 教育部直属院校
【文章页数】：70 页
【学位级别】：硕士
【部分图文】：
集成学个体学习器T
第二章相关研究工作13图2-4全卷积网络（FullConvolutionalNetwork,FCN）2.5.1全卷积神经网络近年来，全卷积网络FCN在图像语义分割[43]、时间序列分类等领域表现较好[12,44]。FCN在时间序列分类问题中的结构如图2-4所示[12]，该网络由三个卷积层和softmax层构成，卷积层的输出经globalpooling后到达softmax层。每个卷积层由一维卷积操作、batchnormalization（BN）和ReLU构成，卷积的作用是提取时间序列的特征，BN的作用是加速网络的训练的和提高网络的泛化能力[29]，ReLU的作用是使得网络具有非线性拟合能力[45]，每层卷积可表述为公式2-4。x+b()Re().yWsBNyhLUs===(2-4)其中，表示卷积操作。三个卷积层的通道个数分别为128，256和128，一维卷积核大小依次为8、5和3，滑动步长为1。Globalpooling使用全局最大池化，是一种特征提取的方法，也是一种降维的方法，相对于全连接层具有更好地泛化能力，并且没有可训练的参数，因此加快了网络的训练速度。softmax层的功能是实现网络的多分类任务，公式如下：softmax()ijjeie.(2-5)损失函数采用交叉熵，公式如下：1c[ylna(1-y)ln(1-a)]n.(2-6)其中y代表真实值分类（0或1），a代表预测值。
第三章基于FCN网络的多尺度特征集成学习17集成学习方法，该方法相比于一般基学习模型往往具有更好的性能。在第二章中已经介绍了集成学习的方法，为此，本小节将介绍一维卷积过程。3.2.1一维卷积在信号、图像处理等领域，卷积操作是一种使用广泛的技术。在深度学习领域，卷积神经网络（ConvolutionalNeuralNetwork，CNN）模型架构就得名于这种技术，成为了深度学习的基石技术之一[50]。在深度学习中，对于原始序列12[x,x,...,x]TxX，卷积核12[c,c,...,c]mc5，对原始一维数据卷积，输出为121[o,o,...,o]TmoQ_;_，其中1111ox*cx*c,...x*ciiiiiimim(3-1)图3-1卷积层输出与原始数据特征尺度的对应关系图3-1为卷积层的输出与输入的对应关系，第一层网络卷积核为1*8，第二层卷积核为1*5，第三层卷积核为1*3。第三层卷积输出的每个值都是通过对第二层卷积输出的三个值进行卷积得到的，同理，第二层卷积输出的每个值都是通过对第一层卷积输出的五个值进行卷积得到的，而第一层卷积输出的每个值都是通过对输入序列的八个值进行卷积得到的。即模型中第三个卷积层的每个输出值代表原序列长度为14的一个局部特征。按照这种关系，对原始时间序列从一段卷积到另一端，其中卷积核参数是共享的，进行滑动卷积，这大大减少了卷积网络的参数，同时使得卷积具有了特征的平移不变性。
【参考文献】：
期刊论文
[1]时间序列聚类的期刊参考文献与引证文献来源分析研究[J]. 李海林,黄思雨. 情报科学. 2019(10)
[2]基于改进K-modes聚类的KNN分类算法[J]. 王志华,刘绍廷,罗齐. 计算机工程与设计. 2019(08)
[3]基于聚类的环形kNN算法[J]. 匡振曦,武继刚,李嘉兴. 计算机工程与科学. 2019(05)
[4]基于shapelet的时间序列分类研究[J]. 闫汶和,李桂玲. 计算机科学. 2019(01)
[5]基于BP和朴素贝叶斯的时间序列分类模型[J]. 王会青,郭芷榕,白莹莹. 计算机应用研究. 2019(08)
[6]局部聚类分析的FCN-CNN云图分割方法[J]. 毋立芳,贺娇瑜,简萌,邹蕴真,赵铁松. 软件学报. 2018(04)
[7]基于动态集成决策树的多类别时间序列分类模型[J]. 徐雷,Geoff I Webb,Francois Petitjean,张阳. 计算机应用研究. 2018(06)
[8]基于Shapelet剪枝和覆盖的时间序列分类算法[J]. 原继东,王志海,韩萌. 软件学报. 2015(09)
博士论文
[1]稀疏图子空间学习算法研究[D]. 吴云松.重庆大学 2017
[2]数据降维算法研究及其应用[D]. 张田昊.上海交通大学 2008
硕士论文
[1]基于全卷积神经网络的室内场景分割算法研究[D]. 黄龙.西安理工大学 2019
[2]时序数据二分类问题的等距短shapelet转换算法[D]. 舒伟博.中国科学技术大学 2019
[3]基于DTW和LMNN的多维时间序列相似性分析方法[D]. 沈静逸.浙江大学 2017
[4]基于DTW距离的时间序列相似性查询和shapelets分类算法研究[D]. 孙宏伟.太原理工大学 2016
[5]基于支持向量机的单变量非线性时间序列研究[D]. 卜亚男.华南理工大学 2014
本文编号：3449517
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3449517.html
