基于视频拼接的中国手语合成关键技术研究

发布时间：2017-12-08 09:01

  本文关键词：基于视频拼接的中国手语合成关键技术研究

  更多相关文章： 手语合成 过渡帧 网格形变 近似刚性 局部控制 图像插补 源相似时间相关性

【摘要】：手语通过手形和位置的组合变化来传递信息与表达语义,是听障人群的主要沟通工具。手语合成就是把自然语言翻译成手语的技术,为听障人与正常人之间的沟通搭起了桥梁。基于视频拼接的手语合成就是将手语数据库中的手语词视频按输入文本拼接成新的手语视频。由于待拼接的视频片段,可能存在动作差异。为了得到更自然流畅的合成手语,需要生成中间过渡帧自然过渡前后手语动作。现有的依赖于过渡形态库的中间过渡帧生成方法,需要大量的人工工作。因此,设计更自动化的过渡帧生成算法具有重要的研究价值和应用价值。本文基于对手语运动特点的分析,利用Kinect设备采集数据,重新设计了手语合成数据处理方案,并重点研究其中的过渡帧生成算法。本文提出的手语合成基于Kinect采集颜色信息、深度信息、骨架信息构建手语视频数据库,先经过预处理得到过渡帧数和骨架过渡路径,再联合网格形变和图像插补算法生成中间过渡帧,从而得到最终合成的手语视频。本论文主要的研究内容如下:1、研究手语视频数据预处理。作为过渡帧生成的准备工作,预处理包括对输入的文本分词,选择最佳拼接位置,估计过渡帧数以及计算骨架过渡路径,得到的结果将输入到后续过渡帧生成模块。2、研究网格形变算法。手语词视频的中间过渡帧应该符合人体运动规律。为了使形变更好地模拟动作变化的过程,提出一种局部控制的近似刚性形变算法,即在传统的形变能量中加入稀疏位移约束和平滑约束,构建具有近似刚性、局部性、平滑性和形状感知性的形变模型,并用"局部-全局"迭代算法求解。利用预处理得到的过渡骨架对待拼接手语视频帧作形变操作,得到的前向和后向形变序列作为后续图像插补操作的输入。3、研究图像插补算法。因为形变只是针对单源视频帧的操作,为了使过渡帧在符合人体运动规律的同时表现信息的过渡过程,本论文提出一种形变辅助的图像插补算法。利用形变得到的前向和后向形变序列,考虑源相似性和时间相关性,设计一种迭代优化策略进行图像插补。为了更好地保留图像细节,综合利用颜色和梯度距离度量图像块的相似性。最终融合前向和后向形变序列,得到合成手语的中间过渡帧。本论文在手语视频数据上验证了所提出的合成算法的性能,结果表明使用本论文的算法能够自动地合成平滑并且真实的手语视频。
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】

中国期刊全文数据库 前3条

1 ;L_p shape deformation[J];Science China(Information Sciences);2012年05期

2 王兆其,杨长水,高文;基于VRML的中国手语三维显示[J];计算机研究与发展;2003年03期

3 尹锋;基于神经网络的汉语自动分词系统的设计与分析[J];情报学报;1998年01期

中国硕士学位论文全文数据库 前2条

1 朱婷婷;三维信息辅助的中国手语视频合成方法研究[D];北京工业大学;2014年

2 赵海楠;基于虚拟人技术的中国手语新闻播报系统[D];哈尔滨工业大学;2008年

，

本文编号：1265772