基于深度机器学习的体态与手势感知计算关键技术研究

发布时间：2020-07-07 22:11

【摘要】：随着计算资源和用户需求的快速增长,直观、自然并且能够适应各种交互环境的感知计算成为研究热点。本文面向体态和手势这两种常见的感知通道,系统地研究其中的问题挑战及其解决方法。随着人们对于姿态恢复和手势识别的精确性和易用性越来越高的要求,缺乏先验知识表示、准确率与时延折中、标定过程繁琐以及有标数据不足等关键问题与挑战交错叠加。首先,一些人类熟知的有助于解决感知问题的先验知识难以直接嵌入在基于深度机器学习的端到端的感知计算方法中;其次,现有的基于肌电信号的手势识别方法难以同时做到高准确率和低时延;再次,现有的基于肌电信号的手势识别方法通常需要用户在每次佩戴设备后先进行严格的标定;最后,现有的基于肌电信号的手势识别方法依赖于大量的具有手势标签的训练数据,然而这些有标记的训练数据通常难以获得。本文重点面向上述问题和挑战,在深度机器学习框架下设计针对性的解决方法,主要创新点包括:(1)针对基于无标记单目相机的体态感知中缺乏先验知识表示的问题,提出了一种新的先验知识的表示方式——高度图——用于从单目相机拍摄的视频中精确地恢复三维人体姿态。在此基础上,提出使用双流深度卷积网络融合彩色图像和高度图两种输入信息来估计二维人体姿态,充分利用了人体各部位的高度这一先验信息来提高二维姿态估计准确率;提出一种新的带有时序一致性约束的目标函数,用于从估计出的人体关节点的二维人体姿态序列中恢复出对应的三维人体姿态序列,利用人体姿态和相机参数在时间上的连续性来提高三维姿态估计的准确率。(2)针对基于肌电信号的手势感知中准确率与时延折中的问题,发现了瞬时的高密度肌电信号中存在特定的模式,这一发现使得基于瞬时肌电信号的手势识别成为可能。基于这一发现,提出肌电图像的概念,以及基于瞬时肌电图像和深度卷积网络的手势识别框架。该方法可以在提高基于肌电信号的手势识别准确率的同时降低时延。(3)针对基于肌电信号的手势感知中标定过程繁琐和有标数据不足的问题,提出了基于深度机器学习的无监督领域自适应框架,从而提升基于肌电信号的会话间手势识别的准确率,同时降低模型适配过程中所需要的用户交互的复杂度。该适配方法无监督和增量地更新模型中的统计量参数,适配贯穿整个交互过程,而不是仅在特定的阶段执行。(4)针对基于肌电信号的手势感知中缺乏先验知识表示和有标数据不足的问题,提出了基于半监督深度机器学习的肌电手势识别方法,在训练阶段利用数据手套采集的手部三维姿态数据和肌电信号内在的动态特性,从无标记的肌电信号中学习有用的特征表示;然后利用该特征表示在识别阶段从肌电信号中识别手势。该方法在有标训练样本不足时可以显著提高手势识别的准确率。
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41;TP181
【图文】：

图１．１邋＂Ｐ山Ｔｈａｔ邋Ｔｈｅｒｅ＂系统

基于肌电信号的ＭＣＩ具有设备操作方便、对人体无伤害、对动作本身影响少、信号逡逑处理方法灵活多样等特点，且价格低廉，不容易受外在环境（如光线）的影响，因而被广逡逑泛用于被广泛应用于主动假肢［１２］、轮椅［１３］和外骨骼［１４］中（如图１．２）。典型的应用逡逑问题包括，如何自动地挖掘肌电信号在皮肤表面的空间分布，降低基于肌电信号的手势逡逑识别过程中特征提取带来的观测时延。Ｗ及如何充分利用多模态的输入数据（例如肌电逡逑信号和数据手套数据）之间隐含的关系来降低数据采集和标记的戌本。逡逑４逡逑

图１．３邋Ｖｉｃｏｎ动作捕捉系统

【相似文献】

相关期刊论文 前10条

1 张明玉,倪志伟;基于机器学习的智能决策支持系统[J];淮南师范学院学报;2005年03期

2 杨凌霄;武建平;;机器学习方法在人脸检测中的应用[J];计算机与数字工程;2008年03期

3 ;第十一届中国机器学习会议[J];智能系统学报;2008年02期

4 ;第14届中国机器学习会议[J];智能系统学报;2012年06期

5 费宗铭;吕建;王志坚;陈道蓄;徐家福;;机器学习[J];计算机科学;1991年01期

6 赵沁平;魏华;王军玲;;机器学习技术与机器学习系统[J];计算机科学;1993年05期

7 姚敏;机器学习及其发展方向[J];计算机时代;1994年04期

8 ;第31届机器学习国际会议(英文)[J];智能系统学报;2014年01期

9 黄海滨;机器学习及其主要策略[J];河池师范高等专科学校学报(自然科学版);2000年04期

10 佘玉梅;一种协调机器学习方法研究[J];云南民族学院学报(自然科学版);2000年03期

相关会议论文 前10条

1 王珏;;归纳机器学习[A];2001年中国智能自动化会议论文集（上册）[C];2001年

2 王昊;李银波;纪志梁;;利用机器学习方法预测严重药物不良反应-呼吸困难[A];中国化学会第28届学术年会第13分会场摘要集[C];2012年

3 吴沧浦;;智能系统与机器学习的新领域[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年

4 周晴杰;徐立鸿;吴启迪;;机器学习串级结构的初步探讨[A];1998年中国控制会议论文集[C];1998年

5 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集（第2卷）[C];2005年

6 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年

7 蔡健平;林世平;;基于机器学习的词语和句子极性分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 黄金铁;李景银;周建常;;对高炉炉况评价模型参数的机器学习——一个三类线性模式分类器的实现[A];1995中国控制与决策学术年会论文集[C];1995年

9 程国建;蔡磊;潘华贤;;核向量机在大规模机器学习中的应用[A];第十一届中国青年信息与管理学者大会论文集[C];2009年

10 张钹;张铃;;统计学习理论及其应用[A];2001年中国智能自动化会议论文集（上册）[C];2001年

相关重要报纸文章 前10条

1 黎骊/文 [美] Tom M.Mitchell 著;机器学习与智能化社会[N];中国邮政报;2003年

2 IBM大数据专家 James Kobielus　范范 编译;机器学习已成为大数据基石[N];网络世界;2014年

3 本报记者 房琳琳;合久必分：分布式“机器学习”应运而生[N];科技日报;2014年

4 雨辰;机器学习类图书为什么火爆[N];中华读书报;2014年

5 百度公司技术副总监 多媒体部负责人 余凯;深度学习与多媒体搜索技术演进[N];中国信息化周报;2013年

6 本报记者 余建斌;机器学习与互联网搜索[N];人民日报;2011年

7 本报记者 张晔邋通讯员 李玮;周志华：永不墨守成规[N];科技日报;2008年

8 记者　 彭德倩;机器学习精度提升近6个百分点[N];解放日报;2006年

9 本报记者 闵杰;大数据热 高端人才缺[N];中国电子报;2013年

10 沈建苗 编译;如何成为大数据科学家[N];计算机世界;2013年

相关博士学位论文 前10条

1 董春茹;机器学习中的权重学习与差分演化[D];华南理工大学;2015年

2 姚明臣;机器学习和神经网络学习中的若干问题研究[D];大连理工大学;2016年

3 Maxim Pecionchin;[D];对外经济贸易大学;2016年

4 杜宇;基于深度机器学习的体态与手势感知计算关键技术研究[D];浙江大学;2017年

5 赵玉鹏;机器学习的哲学探索[D];大连理工大学;2010年

6 胡巍;面向格结构的机器学习[D];上海交通大学;2009年

7 张义荣;基于机器学习的入侵检测技术研究[D];国防科学技术大学;2005年

8 钱线;快速精确的结构化机器学习方法研究[D];复旦大学;2010年

9 梁锡军;稀疏优化在机器学习中的若干应用[D];大连理工大学;2013年

10 蒋刚;核机器学习方法若干问题研究[D];西南交通大学;2006年

相关硕士学位论文 前10条

1 毛海斌;基于半监督机器学习的情感分类领域适应问题研究[D];南京理工大学;2015年

2 安军辉;基于微博数据的微博用户性别判断研究[D];华中师范大学;2015年

3 陈召阳;基于机器学习的改性麦槽吸附重金属构效关系模型研究[D];江西理工大学;2014年

4 王成;基于半监督机器学习的文本情感分析技术[D];南京理工大学;2015年

5 孙科;基于Spark的机器学习应用框架研究与实现[D];上海交通大学;2015年

6 刘江龙;基于机器学习的射频指纹定位方法研究[D];电子科技大学;2015年

7 张蕾;基于机器学习的网络舆情采集技术研究与设计[D];电子科技大学;2014年

8 施宇;基于数据挖掘和机器学习的木马检测系统设计与实现[D];电子科技大学;2014年

9 施应敏;基于机器学习的Femtocell信道频谱与功率资源分配算法的研究[D];南京邮电大学;2015年

10 张柯;基于机器学习的错误定位方法研究[D];南京航空航天大学;2015年

本文编号：2745677