稀疏自组合时空卷积神经网络动作识别方法及其并行化研究
发布时间：2014-09-10 09:39
【摘要】 动作识别系统在现实中具有重要的应用价值,但是现有的动作识别方法依然存在各种各样的缺陷,研究稳定可靠的动作识别方法,对于机器学习的理论发展与应用推广具有重要的意义。卷积神经网络是一种深度学习模型,它受到脊椎动物视觉神经系统的启发,能够直接从灰度图像学习出抽象的高级特征,具有强大的图像分类能力,但它不能直接应用于视频中的动作识别。为了将卷积神经网络的特征提取能力推广到动作识别,本文对卷积神经网络进行了扩展,本文的贡献主要有以下几个方面：基于时空卷积特征提取,开发了一个时空卷积神经网络框架。该模型以多个连续视频帧为输入,交替进行卷积和子采样操作,逐步提取出多种复杂抽象的高级特征,具有出色的特征学习能力与分类能力。为了进一步提高时空卷积神经网络的性能,在组合卷积层的输入特征图时,提出了一种稀疏自组合策略。通过对输入特征图增加稀疏性限制,使卷积层能够自动学习出最佳的特征图组合作为输入,与传统的手工设置方式相比,省略了手工设置的繁复步骤,实验表明,采用稀疏自组合策略的时空卷积神经网络具有更好的特征学习能力与分类能力。提出了一种基于MapReduce的矩阵并行相乘算法,基于该矩阵并行算法,在Hadoop平台对稀疏自组合时空卷积神经网络采用MapReduce编程模型并行化,并与串行实验结果进行了对比,验证了稀疏自组合时空卷积神经网络并行化的可行性、稳定性、正确性,并获得了一定的加速比。为了利用多核CPU的计算能力,将MapReduce的Map过程和Reduce过程采用多线程实现,将该算法用于稀疏自组合时空卷积神经网络的训练测试,性能进一步得到提高。分别在WEIZMAN和KTH两个公开数据集上进行了一系列实验,展示了时空卷积神经网络在各种场景下的表现性能。实验结果表明,与其他基准方法相比,本文提出的方法在两个数据集上表现出了非常有竞争力的结果。
【关键词】 动作识别； 深度学习； 卷积神经网络； MapReduce； 多核；
第一章绪论
1.1课题背景和研究意义
随着移动互联网的快速发展，数据规模迅速增大，同时视频数据每天以海量方式产生和积累，研宄如何利用深度学习对这些海量视频数据进行大规模并行处理，既具有现实的经济价值，对于发挥挖掘深度学习的并行处理能力同样意义重大。MapReduce是由Gooogle公司提出来的一个用于处理海量数据的并行编程模型，由于它简单实用，因而迅速成为云计算方面的标准模型。是基于MapReduce的JAVA开源实现，具有配置简单、易扩展、编程容易等特点，从而成为分布式集群的标准配置。研究如何利用Hadoop平台对动作识别方法进行工程实现，将理论与实际应用相结合，同样具有重要的现实意义与理论价值。多核CPU的快速发展，提高了计算机的运算速度，而现有动作识别方法运算复杂，执行效率低，研究如何利用多核CPU的并行加速能力对动作识别应用进行改进，具有重大意义。
1. 2动作识别相关研究
早期的时候，研究者试图对人体进行跟踪，并把人体部分作为动作分类的特征，这是一种很自然的表示方法，因为人的关节的运动就形成了动作。Yacoob和Black[i2]对人体的主要关节部分进行跟踪，并用参数化方法来表示人体各个部分的旋转和平移，用这些参数对动作进行表示。Ali等人早期的关节模型进行改进，在跟踪时只跟踪主要关节，使跟踪更具鲁棒性；同时，对侧影进行骨架化，获得一个支柱组合似人体；在跟踪关节时，形成一个关节轨迹，一个视频序列被表示成一组关节轨迹，然后输入到一个基于模板的K近邻分类器。Carisson和Sullivan[i4]将动作识别看成一个形状匹配问题，每个动作通过一个特别的姿势来表示，识别就通过比较姿势来完成，实际上就是边缘匹配，这说明了形状信息的重要性。Blank等人[15]从每一帧提取人体侧影，将10帧人体侧影序列作为“时空形状”。从该3D形状中提取局部特征可以通过解决一个泊松方程来完成，最后使用一个基于模板的最近邻分类器进行分类。Wang和Suter[i6]也使用了人体侧影对视频序列进行分类。他们从侧影序列中米用KPCA提取特征，然后使用因子条件随机场(Factorial Conditional RandomField)进行分类。
…………
第二章卷积神经网络
2.1神经网络基本概念
假设有训练样本那么神经网络能够提供一个非线性复杂的假设模型来拟合这些数据，它有两个参数和对于一个只有单个神经元的神经网络模型，可以由图2-1表示：
传统神经网络层与层之间都是全连接网络，即输入层的所有神经元都与输出层的神经元相连，假设输入层的神经元个数，输出层的神经元个数，那么连接数为图2-3是一个简单的神经网络，它具有1个输入层、1个隐含层、1个输出层。连接数实际上就是神经元参数数目，图2-3的神经网络共有16条连接，所以共有16个参数。当神经元个数非常多时，连接数非常多，相应的训练的参数非常多，这必然增加训练神经网络的难度。
2.2卷积神经网络
1959年，Hubel和Wiese[3G]两位科学家在对猫的视觉实验中发现了猫的视觉系统是分级的，这种分级可以看成是逐层迭代、抽象的过程：瞳孔接收像素，方向选择性细胞抽象出边缘，对边缘进一步抽象得出形状，对形状进一步抽象得出是什么物体。高级特征是低层特征的组合与抽象，越高级的特征越能体现人类的语义信息。图2-5对这种逐步抽象的分层模型进行了展示，越高层的表示，越具有抽象表达能力。后来研究者提出了一个新名词来命名这种模型一即“深度学习模型”。 上述模型正是CNN的雏形，这也是首个深度学习模型。图2-6是Neocognitron的模型示意图。之后，在实践和理论分析中，很多学者为CNN的发展做出了重大贡献。
………
第三章稀疏自组合时空卷积神经网络动作识别方法........ 15
3.1引言.......... 15
第四章稀疏自组合时空卷积神经网络并行化 ....... 45
4.1引言 ......45
第五章总结与展望.......... 71
5.1 总结 ........... 71
第四章稀疏自组合时空卷积神经网络并行化
4.1引言
从海量数据中挖掘潜在的信息，推动了基于云平台的大规模机器学习技术的快速发展，目前，基于大规模机器学习的广告推荐、商品个性化推荐成为互联网企业的必备“掘金术”。在此背景下，众多研宄者为了将机器学习扩展到大规模应用中做出 了诸多尝试。Mahout[78]是Apache Software Foundation (ASF)基于Hadoop开发的一个全新的开源项目，其主要目标是创建一些可伸缩的机器学习算法，Mahout可以快速有效地扩展到云中，该项目分为推荐、聚类、分类三个模块，实现 了包括K-Means、Canopy、Naive Bayes、Random Forests等典型的机器学习算法，是目前最受欢迎的开源的大规模机器学习库。
4.2 MapReduce
MapReduce是一个出色的并行编程模型，它在处理一些适定的问题时才能发挥它的优势，换句话说并不是所有的问题都适用MapReduce。首先，MapReduce适用于大规模的数据处理，一般达到TB级以上，如果数据很小，可能横向扩展(增加集群的单机数量)的代价要大于纵向扩展(升级硬件)。其次，MapReduce适用于离线文件分析，文件读写频繁时不适用。再者，MapReduce适用于统计，但不适用于建模：因为统计过程可以插分成小任务再来求和，这与Map和Reduce过程是一致的，比如单词计数非常适用于MapReduce;而建模过程往往前后依赖，无法拆分成多个独立的Map和Reduce过程，比如斐波那契数列的求解就禾适用MapReduce。最后，MapReduce不适用于需要实时反馈的任务，因为MapReduce的大规模处理能力是对于一些无法在可接受的时间内给出可行解的任务，采用MapReduce过程往往能够给出可行解。
........
第五章总结与展望
5.1总结
为了利用MapReduce的大规模数据处理能力，及其并行加速能力，创新性地将稀疏自组合时空卷积神经网络在基于MapReduce的Hadoop开源警台上进行实现，并提出了矩阵分布式乘法等改进措施，最后进行了一系列对比实验，说明稀疏自组合时空卷积神经网络的MapReduce并行化是可行的，并获得了稳定的正确性与一定的加速比。5.2展望
本文编号：8750
【关键词】 动作识别； 深度学习； 卷积神经网络； MapReduce； 多核；
第一章绪论
1.1课题背景和研究意义
随着移动互联网的快速发展，数据规模迅速增大，同时视频数据每天以海量方式产生和积累，研宄如何利用深度学习对这些海量视频数据进行大规模并行处理，既具有现实的经济价值，对于发挥挖掘深度学习的并行处理能力同样意义重大。MapReduce是由Gooogle公司提出来的一个用于处理海量数据的并行编程模型，由于它简单实用，因而迅速成为云计算方面的标准模型。是基于MapReduce的JAVA开源实现，具有配置简单、易扩展、编程容易等特点，从而成为分布式集群的标准配置。研究如何利用Hadoop平台对动作识别方法进行工程实现，将理论与实际应用相结合，同样具有重要的现实意义与理论价值。多核CPU的快速发展，提高了计算机的运算速度，而现有动作识别方法运算复杂，执行效率低，研究如何利用多核CPU的并行加速能力对动作识别应用进行改进，具有重大意义。
1. 2动作识别相关研究
早期的时候，研究者试图对人体进行跟踪，并把人体部分作为动作分类的特征，这是一种很自然的表示方法，因为人的关节的运动就形成了动作。Yacoob和Black[i2]对人体的主要关节部分进行跟踪，并用参数化方法来表示人体各个部分的旋转和平移，用这些参数对动作进行表示。Ali等人早期的关节模型进行改进，在跟踪时只跟踪主要关节，使跟踪更具鲁棒性；同时，对侧影进行骨架化，获得一个支柱组合似人体；在跟踪关节时，形成一个关节轨迹，一个视频序列被表示成一组关节轨迹，然后输入到一个基于模板的K近邻分类器。Carisson和Sullivan[i4]将动作识别看成一个形状匹配问题，每个动作通过一个特别的姿势来表示，识别就通过比较姿势来完成，实际上就是边缘匹配，这说明了形状信息的重要性。Blank等人[15]从每一帧提取人体侧影，将10帧人体侧影序列作为“时空形状”。从该3D形状中提取局部特征可以通过解决一个泊松方程来完成，最后使用一个基于模板的最近邻分类器进行分类。Wang和Suter[i6]也使用了人体侧影对视频序列进行分类。他们从侧影序列中米用KPCA提取特征，然后使用因子条件随机场(Factorial Conditional RandomField)进行分类。
…………
第二章卷积神经网络
2.1神经网络基本概念
假设有训练样本那么神经网络能够提供一个非线性复杂的假设模型来拟合这些数据，它有两个参数和对于一个只有单个神经元的神经网络模型，可以由图2-1表示：
传统神经网络层与层之间都是全连接网络，即输入层的所有神经元都与输出层的神经元相连，假设输入层的神经元个数，输出层的神经元个数，那么连接数为图2-3是一个简单的神经网络，它具有1个输入层、1个隐含层、1个输出层。连接数实际上就是神经元参数数目，图2-3的神经网络共有16条连接，所以共有16个参数。当神经元个数非常多时，连接数非常多，相应的训练的参数非常多，这必然增加训练神经网络的难度。
2.2卷积神经网络
1959年，Hubel和Wiese[3G]两位科学家在对猫的视觉实验中发现了猫的视觉系统是分级的，这种分级可以看成是逐层迭代、抽象的过程：瞳孔接收像素，方向选择性细胞抽象出边缘，对边缘进一步抽象得出形状，对形状进一步抽象得出是什么物体。高级特征是低层特征的组合与抽象，越高级的特征越能体现人类的语义信息。图2-5对这种逐步抽象的分层模型进行了展示，越高层的表示，越具有抽象表达能力。后来研究者提出了一个新名词来命名这种模型一即“深度学习模型”。 上述模型正是CNN的雏形，这也是首个深度学习模型。图2-6是Neocognitron的模型示意图。之后，在实践和理论分析中，很多学者为CNN的发展做出了重大贡献。
………
第三章稀疏自组合时空卷积神经网络动作识别方法........ 15
3.1引言.......... 15
第四章稀疏自组合时空卷积神经网络并行化 ....... 45
4.1引言 ......45
第五章总结与展望.......... 71
5.1 总结 ........... 71
第四章稀疏自组合时空卷积神经网络并行化
4.1引言
从海量数据中挖掘潜在的信息，推动了基于云平台的大规模机器学习技术的快速发展，目前，基于大规模机器学习的广告推荐、商品个性化推荐成为互联网企业的必备“掘金术”。在此背景下，众多研宄者为了将机器学习扩展到大规模应用中做出 了诸多尝试。Mahout[78]是Apache Software Foundation (ASF)基于Hadoop开发的一个全新的开源项目，其主要目标是创建一些可伸缩的机器学习算法，Mahout可以快速有效地扩展到云中，该项目分为推荐、聚类、分类三个模块，实现 了包括K-Means、Canopy、Naive Bayes、Random Forests等典型的机器学习算法，是目前最受欢迎的开源的大规模机器学习库。
4.2 MapReduce
MapReduce是一个出色的并行编程模型，它在处理一些适定的问题时才能发挥它的优势，换句话说并不是所有的问题都适用MapReduce。首先，MapReduce适用于大规模的数据处理，一般达到TB级以上，如果数据很小，可能横向扩展(增加集群的单机数量)的代价要大于纵向扩展(升级硬件)。其次，MapReduce适用于离线文件分析，文件读写频繁时不适用。再者，MapReduce适用于统计，但不适用于建模：因为统计过程可以插分成小任务再来求和，这与Map和Reduce过程是一致的，比如单词计数非常适用于MapReduce;而建模过程往往前后依赖，无法拆分成多个独立的Map和Reduce过程，比如斐波那契数列的求解就禾适用MapReduce。最后，MapReduce不适用于需要实时反馈的任务，因为MapReduce的大规模处理能力是对于一些无法在可接受的时间内给出可行解的任务，采用MapReduce过程往往能够给出可行解。
........
第五章总结与展望
5.1总结
为了利用MapReduce的大规模数据处理能力，及其并行加速能力，创新性地将稀疏自组合时空卷积神经网络在基于MapReduce的Hadoop开源警台上进行实现，并提出了矩阵分布式乘法等改进措施，最后进行了一系列对比实验，说明稀疏自组合时空卷积神经网络的MapReduce并行化是可行的，并获得了稳定的正确性与一定的加速比。5.2展望
本文的动作识别方法展示出一定的动作分类能力，主要依赖于使用众多的参数对人类视觉系统进行模拟，虽然该模型尽量采用自然的、自动的学习策略训练众多参数，但是依然存在参数难以调谐的难题。比如在设置网络的层数、卷积核的大小等参数时，依然采用手工设置的方式，这些参数变化大，无法找到一种有效的自动学习策略进行学习，与真正的自然的视觉识别系统相差甚远。因此，未来的工作可以在参数的自动学习方面进行改进。
动作识别不是一个单一偏狭的问题，它与神经科学、认知科学等存在非常紧密的联系，单单从计算机科学出发不可能得以解决，因为仅仅依靠几个参数不可能模拟出人类大脑的认知能力，人类大脑的记忆、推理、抽象等功能是一个整体，因此，真正的动作识别方法依赖于人工智能的彻底实现。但是，人工智能的重点不是研究计算机，重点在于研宄人，如果有一天人类完全揭开了人类大脑的工作奥秘，计算机一定能够展示出人一样的智能，自然也能像人一样对动作进行识别。
.........
参考文献：
- [1] 许可. 卷积神经网络在图像识别上的应用的研究[D]. 浙江大学 2012
- [2] 宋皓. 基于视觉通路目标识别算法的研究[D]. 合肥工业大学 2011
- [3] 陆璐. 卷积神经网络的研究及其在车牌识别系统中的应用[D]. 合肥工业大学 2006
- [4] 肖柏旭. 基于卷积网络的人脸检测的研究与实现[D]. 华北电力大学（河北） 2007
- [5] 吴伟. 基于SAE-PCA模型的ASL字母识别方法研究[D]. 厦门大学 2014
- [6] 陆庆庆. 基于人脸图像的性别分类[D]. 南京理工大学 2014
- [7] 邓超. 基于3D DAISY描述符的动作识别[D]. 天津大学 2012
- [8] 刘飞. 基于Kinect骨架信息的人体动作识别[D]. 东华大学 2014
- [9] 张晓婧. 基于时空金字塔稀疏编码的动作识别[D]. 天津大学 2012
- [10] 刘聪. 包含小数点的手写数字串切分与识别[D]. 厦门大学 2014
本文编号：8750
本文链接：https://www.wllwen.com/shoufeilunwen/shuoshibiyelunwen/8750.html
