基于微动作视频关键帧提取的手势识别方法及其在针刺手法中的应用
发布时间：2021-06-13 00:14
针对人体动作识别问题,现有的方法多是基于人的肢体或手部、手肘等部位,在针对手指动作等微动作的识别问题上,常见的动态识别方法得到的识别效果并不理想,常常出现识别不准确或无法捕捉手指的运动状态等问题。微动作的运动信息更多的表现在手指的运动状态中,利用微动作手势的运动状态及其运动周期长度来确定一次完整的动作,为此类重复性微动作视频的关键帧提取和特征处理提供了一个新的方向。关键帧序列是表达视频内容的一种重要形式,近年来,常见的关键帧提取算法在解决目标对象动作幅度较小、内容重复、单镜头且场景不变的视频时出现关键帧提取不完整、提取的有效信息不充分以及提取的帧图像冗余等问题。感知哈希算法是图像搜索领域的一种常见方法,但是为本文的微动作关键帧提取问题提供了一种新的解决思路。在微动作视频中,目标对象运动的时空特征包含了其动作的全部信息,有效提取视频中的时空特征能够使得网络训练更加充分有效。卷积神经网络常用于提取图像的空间特征,但是在面对视频序列的特征提取时,往往无法对时间序列的特征进行有效处理,而长短时记忆网络的出现为视频序列的时间特征提取提供了新的解决思路。为此,本文提出了一种基于微动作手势的关键帧提...
【文章来源】：北京化工大学北京市 211工程院校 教育部直属院校
【文章页数】：87 页
【学位级别】：硕士
【部分图文】：
图２－１正弦函数图像??Ｆｉｇ．２－１?Ｓｉｎｅ?ｆｕｎｃｔｉｏｎ?ｉｍａｇｅ??
?第二章视频关键帧序列提取???算法的具体步骤为：??Ｓｔｅｐｌ：导入视频，并将视频序列分割成帧图像序列Ｆｒａｍｅ［／；，／２，．．．，人｝。??Ｓｔｅｐ２：定乂一■个空的关键巾贞序列的集合。??Ｓｔｅｐ３：通过公式计算判断终止帧的阈值Ｌ??Ｓｔｅｐ４；选择随机帧最为关键帧的起始帧０１）并计算视频的周期长度７；＾，。??ＳｔｅＰ５：将帧数据转为灰度图像来计算感知哈希数组／／，（／，刀。??Ｓｔｅｐ６：计算下一顿的感知哈希数组的感知哈希数组并计算与起始??帧的汉明距离奴；ｗ。??Ｓｔｅｐ７：判断汉明距离是否小于阈值夂若汉明距离小于阈值并且与初始帧的??距离大于１／２周期长度，将该帧插入到关键帧序列■｛丨中，并则停止取后续??帧，输出关键帧序列＾妨，…，／＾｝。否则回到Ｓｔｅｐ５取下一帧图像序??列。??２．４实例分析??针对ＭＳＲ?ｇｅｓｔｕｒｅ３Ｄ公开数据集中其中一个手势序列，使用本文所提出的关??键帧提取算法进行关键帧提龋通过公开数据集网络的说明得知，每段手势序列??中手势动作的数目为三个，每段手势序列共有３０帧图像组成。在录制时手势的??具体动作图片以及在数据集中手势的对应动作图片如下图２－３所示（以３种手势??为例）：??ｄＭＭ?ａｉａａ??ａ）?Ｂｌｕｅ?ｇｅｓｔｕｒｅ??ｂ）?Ｇｒｅｅｎ?ｇｅｓｔｕｒｅ??瞧?Ｑ?７１?—ＨＱＢ９??ｃ）?Ｈｕｎｇｒｙ?ｇｅｓｔｕｒｅ??图２－３ＭＳＲｇｅｓｔｕｒｅ３Ｄ手势示意图??Ｆｉｇ．２－３?ＭＳＲ?ｇｅｓｔｕｒｅ３Ｄ?ｇｅｓｔｕｒｅ?ｄｉａｇｒａｍ??１９??
?第二章视频关键帧序列提取???的初始帧，取到的随机帧的位置为第１２帧图像，周期长度为１０。初始帧的８＊８??格式的感知哈希数组Ａ（Ｕ）如下图２－５所示：??〇〇〇〇〇〇〇〇??００００１０００??０００００１００??０?０?１０?１０?１１??０００１１１０１??００００１０１１??０?０?１－０?１?１?０?０??００００１０１０??图２－５关键帧第一帧的感知哈希数组／／＜／，＿／）的值??Ｆｉｇ．２－５?Ｔｈｅ?ｖａｌｕｅ?ｏｆ?ｔｈｅ?ｄｈａｓｈ?ａｒｒａｙ?ｊ）?ｏｆ?ｔｈｅ?ｆｉｒｓｔ?ｆｒａｍｅ?ｏｆ?ｔｈｅ?ｋｅｙ?ｆｒａｍｅ??其中，上述图片所示的表格中，在感知哈希数组中是一种矩阵的形式，行和??列表示的为缩放后的图像的行和列，即８＊８的缩放规格，其中的０或１即为差异??值感知哈希数组的值。在图像的每行相邻像素值中进行计算，当同一行像素值中??某一位的像素的灰度值小于后一位时，则后一位像素值变为０，否则变为１。??步骤４．从起始帧的下一帧开始逐帧计算感知哈希数组，并与初始的感知哈希数组??进行汉明距离的计算，若计算得到的汉明距离小于阈值彡，或是与初始帧的序列??长度小于１／２７＞＿，则将该帧插入到关键帧序列尺，并读取下一帧图像??计算感知哈希数组。最终得到关键帧序列的终止帧位置为第２３帧，而关键帧序??列共有１１帧图像大于１／２周期长度的５帧，满足终止取帧条件。终止帧的感知??哈希数组／／？（／，＿／）为图２－６所示：??００００００００??０００００１００??０００００１００??００００１０１１??００１００１０１??００００１０１１??００００１１１
【参考文献】：
期刊论文
[1]基于改进随机蕨的跟踪注册方法研究[J]. 曹鹏霞,李文新,马伟苹. 计算机应用与软件. 2019(11)
[2]基于多流卷积神经网络的动态手势识别[J]. 王增峥,洪昕. 中国医疗设备. 2019(10)
[3]柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取[J]. 蔡冠蓝. 科学技术与工程. 2019(25)
[4]基于SIFT算法的大场景视频拼接算法及优化[J]. 杨思燕,贺国旗,刘如意. 计算机科学. 2019(07)
[5]基于深度学习的几何特征匹配方法[J]. 李健,杨祥如,何斌. 计算机科学. 2019(07)
[6]改进SIFT算法结合两级特征匹配的无人机图像匹配算法[J]. 邵进达,杨帅,程琳. 计算机科学. 2019(06)
[7]基于混合卷积神经网络的静态手势识别[J]. 石雨鑫,邓洪敏,郭伟林. 计算机科学. 2019(S1)
[8]基于深度学习的视频关键帧提取与视频检索[J]. 梁建胜,温贺平. 控制工程. 2019(05)
[9]穿戴式钢琴弹奏手套智能感知与手势识别技术[J]. 叶素芬,赖际舟,吕品,朱超群. 仪器仪表学报. 2019(05)
[10]双卷积池化结构的3D-CNN高光谱遥感影像分类方法[J]. 李冠东,张春菊,高飞,张雪英. 中国图象图形学报. 2019(04)
博士论文
[1]深度学习模型的高效训练算法研究[D]. 陈凯.中国科学技术大学 2016
[2]情感交互式决策方法及其在过程控制中的应用[D]. 宿翀.北京化工大学 2012
硕士论文
[1]针刺提插补泻足三里对血虚证模型家兔红细胞计数、血红蛋白量的影响[D]. 刘温丽.北京中医药大学 2013
[2]脾经穴位不同频率捻转手法操作对下腹部皮肤温度变化影响的研究[D]. 李健睿.长春中医药大学 2010
[3]不同频率捻转手法量效关系研究[D]. 刘成禹.长春中医药大学 2010
[4]手法针灸合谷穴脑功能磁共振研究[D]. 陈凤英.汕头大学 2007
本文编号：3226589
【文章来源】：北京化工大学北京市 211工程院校 教育部直属院校
【文章页数】：87 页
【学位级别】：硕士
【部分图文】：
图２－１正弦函数图像??Ｆｉｇ．２－１?Ｓｉｎｅ?ｆｕｎｃｔｉｏｎ?ｉｍａｇｅ??
?第二章视频关键帧序列提取???算法的具体步骤为：??Ｓｔｅｐｌ：导入视频，并将视频序列分割成帧图像序列Ｆｒａｍｅ［／；，／２，．．．，人｝。??Ｓｔｅｐ２：定乂一■个空的关键巾贞序列的集合。??Ｓｔｅｐ３：通过公式计算判断终止帧的阈值Ｌ??Ｓｔｅｐ４；选择随机帧最为关键帧的起始帧０１）并计算视频的周期长度７；＾，。??ＳｔｅＰ５：将帧数据转为灰度图像来计算感知哈希数组／／，（／，刀。??Ｓｔｅｐ６：计算下一顿的感知哈希数组的感知哈希数组并计算与起始??帧的汉明距离奴；ｗ。??Ｓｔｅｐ７：判断汉明距离是否小于阈值夂若汉明距离小于阈值并且与初始帧的??距离大于１／２周期长度，将该帧插入到关键帧序列■｛丨中，并则停止取后续??帧，输出关键帧序列＾妨，…，／＾｝。否则回到Ｓｔｅｐ５取下一帧图像序??列。??２．４实例分析??针对ＭＳＲ?ｇｅｓｔｕｒｅ３Ｄ公开数据集中其中一个手势序列，使用本文所提出的关??键帧提取算法进行关键帧提龋通过公开数据集网络的说明得知，每段手势序列??中手势动作的数目为三个，每段手势序列共有３０帧图像组成。在录制时手势的??具体动作图片以及在数据集中手势的对应动作图片如下图２－３所示（以３种手势??为例）：??ｄＭＭ?ａｉａａ??ａ）?Ｂｌｕｅ?ｇｅｓｔｕｒｅ??ｂ）?Ｇｒｅｅｎ?ｇｅｓｔｕｒｅ??瞧?Ｑ?７１?—ＨＱＢ９??ｃ）?Ｈｕｎｇｒｙ?ｇｅｓｔｕｒｅ??图２－３ＭＳＲｇｅｓｔｕｒｅ３Ｄ手势示意图??Ｆｉｇ．２－３?ＭＳＲ?ｇｅｓｔｕｒｅ３Ｄ?ｇｅｓｔｕｒｅ?ｄｉａｇｒａｍ??１９??
?第二章视频关键帧序列提取???的初始帧，取到的随机帧的位置为第１２帧图像，周期长度为１０。初始帧的８＊８??格式的感知哈希数组Ａ（Ｕ）如下图２－５所示：??〇〇〇〇〇〇〇〇??００００１０００??０００００１００??０?０?１０?１０?１１??０００１１１０１??００００１０１１??０?０?１－０?１?１?０?０??００００１０１０??图２－５关键帧第一帧的感知哈希数组／／＜／，＿／）的值??Ｆｉｇ．２－５?Ｔｈｅ?ｖａｌｕｅ?ｏｆ?ｔｈｅ?ｄｈａｓｈ?ａｒｒａｙ?ｊ）?ｏｆ?ｔｈｅ?ｆｉｒｓｔ?ｆｒａｍｅ?ｏｆ?ｔｈｅ?ｋｅｙ?ｆｒａｍｅ??其中，上述图片所示的表格中，在感知哈希数组中是一种矩阵的形式，行和??列表示的为缩放后的图像的行和列，即８＊８的缩放规格，其中的０或１即为差异??值感知哈希数组的值。在图像的每行相邻像素值中进行计算，当同一行像素值中??某一位的像素的灰度值小于后一位时，则后一位像素值变为０，否则变为１。??步骤４．从起始帧的下一帧开始逐帧计算感知哈希数组，并与初始的感知哈希数组??进行汉明距离的计算，若计算得到的汉明距离小于阈值彡，或是与初始帧的序列??长度小于１／２７＞＿，则将该帧插入到关键帧序列尺，并读取下一帧图像??计算感知哈希数组。最终得到关键帧序列的终止帧位置为第２３帧，而关键帧序??列共有１１帧图像大于１／２周期长度的５帧，满足终止取帧条件。终止帧的感知??哈希数组／／？（／，＿／）为图２－６所示：??００００００００??０００００１００??０００００１００??００００１０１１??００１００１０１??００００１０１１??００００１１１
【参考文献】：
期刊论文
[1]基于改进随机蕨的跟踪注册方法研究[J]. 曹鹏霞,李文新,马伟苹. 计算机应用与软件. 2019(11)
[2]基于多流卷积神经网络的动态手势识别[J]. 王增峥,洪昕. 中国医疗设备. 2019(10)
[3]柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取[J]. 蔡冠蓝. 科学技术与工程. 2019(25)
[4]基于SIFT算法的大场景视频拼接算法及优化[J]. 杨思燕,贺国旗,刘如意. 计算机科学. 2019(07)
[5]基于深度学习的几何特征匹配方法[J]. 李健,杨祥如,何斌. 计算机科学. 2019(07)
[6]改进SIFT算法结合两级特征匹配的无人机图像匹配算法[J]. 邵进达,杨帅,程琳. 计算机科学. 2019(06)
[7]基于混合卷积神经网络的静态手势识别[J]. 石雨鑫,邓洪敏,郭伟林. 计算机科学. 2019(S1)
[8]基于深度学习的视频关键帧提取与视频检索[J]. 梁建胜,温贺平. 控制工程. 2019(05)
[9]穿戴式钢琴弹奏手套智能感知与手势识别技术[J]. 叶素芬,赖际舟,吕品,朱超群. 仪器仪表学报. 2019(05)
[10]双卷积池化结构的3D-CNN高光谱遥感影像分类方法[J]. 李冠东,张春菊,高飞,张雪英. 中国图象图形学报. 2019(04)
博士论文
[1]深度学习模型的高效训练算法研究[D]. 陈凯.中国科学技术大学 2016
[2]情感交互式决策方法及其在过程控制中的应用[D]. 宿翀.北京化工大学 2012
硕士论文
[1]针刺提插补泻足三里对血虚证模型家兔红细胞计数、血红蛋白量的影响[D]. 刘温丽.北京中医药大学 2013
[2]脾经穴位不同频率捻转手法操作对下腹部皮肤温度变化影响的研究[D]. 李健睿.长春中医药大学 2010
[3]不同频率捻转手法量效关系研究[D]. 刘成禹.长春中医药大学 2010
[4]手法针灸合谷穴脑功能磁共振研究[D]. 陈凤英.汕头大学 2007
本文编号：3226589
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3226589.html
最近更新
教材专著
