面向智能电视的隐式手势交互建模与算法

发布时间：2020-10-11 21:17

　　 针对基于视觉的智能电视手势交互中用户认知负荷和操作负荷较重的问题,提出融合显式交互和隐式交互的手势交互算法.通过对基于视觉的智能电视手势交互场景分析,首先建立了基于用户行为和智能电视状态的多层次上下文模型,实现上下文的数据融合与特征提取;其次设计并实现了CDL-DFCM推理模型和显隐信息融合的隐式交互模型,识别交互情景事件并感知用户意图;最后实现用户与智能电视的隐式交互.实验结果表明,与现有算法相比,该算法在操作准确率、时间开销和手势移动距离等方面得到了明显改善,并有效地提升了用户体验.
【部分图文】：

?耐枷褡苤∈?用来描述动态手势的持续时间.本文中的静态手势姿态采用(handcoordinatesdistributionfeatures-Hausdorff,HCDF-H)算法[24]进行识别.首先标准化手势图像,并以手势质心点到手势最远点作为手势主方向向量;沿主方向将手势图像分为8个子区域,生成手势坐标点分布特征向量.其次使用类-Hausdorff距离与手势模板库中的每种手势进行对比,得出最终识别结果.该算法能够避免手势旋转、平移、缩放的影响,具有较高的效率和识别准确率.在基于视觉的智能电视手势交互中,本文将电视交互系统中的有效静态手势分为如图1所示3种类型;基于静态手势的动态手势模型分解如表1所示.图1不同类型静态手势图像表1动态手势模型分解图表动态手势行为模型Gesture_startGesture_endorientationlength向前挥手前>20向左挥手左>20向右挥手右>20向上挥手上>20向下挥手下>20握拳动作0在智能电视视觉手势交互实验中,我们发现每个动态手势开始前用户都会有意识的调整静态手势.在调整静态手势的时间段内(调整静态手势的时间段是指用户从随机静态手势调整到具有特定语义的理想静态手势的时间差),静态手势的质心保持相对静止.我们以每连续T帧手势图像作为一个静态调整时间段,连续T帧内静态手势运动距离满足条件阈值D.以D和T作为状态转移条件,若连续T帧内手势移动距离d<D,则进入静态手势识别阶段.运动方向是区分不同动态手势的关键信息,如果将触发动态手势的静态手势质心点S为坐标原点建立坐标系,其与结束动态手势的静态手势质心点E方向判断关系如图2所示.图2手势运动方向图2中,手势运动方向可描述为:0,tan1,..:0,tan1,..:0,1tan0,..:0,1tan0,..:(..):0(..)oooooorioooofEzSzZfEzSzZfEzSzZO

龆??质瓶?记坝没Ф蓟嵊幸馐兜牡髡?蔡?手势.在调整静态手势的时间段内(调整静态手势的时间段是指用户从随机静态手势调整到具有特定语义的理想静态手势的时间差),静态手势的质心保持相对静止.我们以每连续T帧手势图像作为一个静态调整时间段,连续T帧内静态手势运动距离满足条件阈值D.以D和T作为状态转移条件,若连续T帧内手势移动距离d<D,则进入静态手势识别阶段.运动方向是区分不同动态手势的关键信息,如果将触发动态手势的静态手势质心点S为坐标原点建立坐标系,其与结束动态手势的静态手势质心点E方向判断关系如图2所示.图2手势运动方向图2中,手势运动方向可描述为:0,tan1,..:0,tan1,..:0,1tan0,..:0,1tan0,..:(..):0(..)oooooorioooofEzSzZfEzSzZfEzSzZOfEzSzZEzSzZEzSzZ上下左右前后(1)tan(..),1tan0tan(..),tan1oExSxfEySy,..tan..EySyExSx.在坐标系XSY上根据S和E计算向量SE与X轴夹角的正切值,根据正切值的绝对值判断出手势运动方向;上下方向根据2个坐标点Y轴坐标差值的正负判断具体方向,左右方向根据2个坐标点X轴坐标差值判断具体方向;Z轴方向,手势水平位移阈值绝对值为Zo.根据DGDM,我们可以判断出动态手势类型(dynamicgesturetype,DGT),并用特征向量DGT描述一种动态手势,不同的动态手势可根据不同的语义、开始手势、结束手势、方向以及持续时间来描述,DGT=(ID,p,G_s,G_e,o,l).动态手势类型识别的算法(dynamicgesturerecognitionalgorithm,DGRA)流程如图3所示.1.2多层次上下文模型的建立智能电视视觉手势交互系统中主要考虑3种形式的上下文信息,分别是智能电视状态?

第2期徐治鹏,等:面向智能电视的隐式手势交互建模与算法347图3DGRA流程图节目播放状态、主页切换功能状态、待机状态”和通过推理获得的高层交互情景事件与用户意图,又如“电视正处在手势功能激活状态”、“电视正处在频道调节状态”和“电视正处在音量调节状态”,这类信息是对人体手势动作理解的关键,是解决用户行为多义性的重要依据.2)与用户有关的上下文包括人体重心的相对位置与手部动作行为信息.3)用户与智能电视的关联上下文,被定义为用户位置事件,与智能电视的开关状态关联,如“电视工作状态下用户处于电视有效操作范围内”.对基于视觉的智能电视手势交互场景上下文,建立多层次上下文模型,如图4所示.图4智能电视手势交互的多层次上下文模型2基于CDL-DFCM模型的隐式交互2.1CDL-DFCM模型的设计与建立为了识别交互情景事件与主动理解用户的意图,本文对用户行为和智能电视状态进行分析,根据多层次上下文模型提出了一种基于DFCM的多层次动态上下文推理模型(contextofdynamiclogic-DFCM,CDL-DFCM).CDL-DFCM能够实现对用户操作意图的感知,并以在线检测方式实时对上下文数据进行处理.在CDL-DFCM模型中,交互概念节点分为4类:智能电视状态交互概念节点,描述与智能电视功能状态有关的上下文;用户行为交互概念节点,描述用户手势交互行为;交互情景概念节点,描述具体交互任务的交互情景事件;操作语义的概念节点,描述用户的操作意图,与交互情景事件相关联.针对基于视觉的智能电视手势交互系统的基本操作需求,本文对智能电视中频道调节、音量调节、手势开关控制功能的手势交互进行分析研究.设置手势开关控制功能的目的是实现与其他交互通道的平滑融合,防止产生相互干扰.交互概念节点集合C表示CDL-DFCM模型中全部节点的集合,C
【参考文献】

相关期刊论文 前10条

1 刘慧;冯志全;梁丽伟;徐治鹏;;虚拟界面自然交互模型与算法[J];浙江大学学报(工学版);2016年06期

2 杨学文;冯志全;黄忠柱;何娜娜;;结合手势主方向和类-Hausdorff距离的手势识别[J];计算机辅助设计与图形学学报;2016年01期

3 梁卓锐;徐向民;;面向视觉手势交互的映射关系自适应调整[J];华南理工大学学报(自然科学版);2014年08期

4 王巍;黄晓丹;赵继军;申艳光;;隐式人机交互[J];信息与控制;2014年01期

5 王国建;陶霖密;;支持隐式人机交互的分布式视觉系统[J];中国图象图形学报;2010年08期

6 武汇岳;张凤军;刘玉进;戴国忠;;基于视觉的手势界面关键技术研究[J];计算机学报;2009年10期

7 张秋余;姚开博;吴佩莉;;基于矩形特征和改进Adaboost的手势检测[J];计算机工程;2008年14期

8 徐光祐;陶霖密;史元春;张翔;;普适计算模式下的人机交互[J];计算机学报;2007年07期

9 秦严严;田丰;王晓春;戴国忠;;以交互为中心的Post-WIMP界面模型[J];软件学报;2006年04期

10 任海兵,祝远新,徐光,林学,张哓平;基于视觉手势识别的研究—综述[J];电子学报;2000年02期

相关硕士学位论文 前3条

1 赵思敏;智能电视手势交互系统的设计[D];华南理工大学;2015年

2 闵凡文;基于认知行为模型库和Kinect平台的实时手势跟踪算法研究[D];济南大学;2014年

3 刘雪君;面向互动电视的手势交互系统研究与实现[D];复旦大学;2013年

【共引文献】

相关期刊论文 前10条

1 徐治鹏;冯志全;刘慧;梁丽伟;;面向智能电视的隐式手势交互建模与算法[J];计算机辅助设计与图形学学报;2017年02期

2 胡志刚;王延超;吴群;周浩杰;;基于自然交互的FBS设计模型[J];包装工程;2017年02期

3 张春燕;;基于计算机视觉的可变形手势跟踪算法改进研究[J];计算机测量与控制;2016年11期

4 霍鹏飞;;基于计算机视觉的3D手势交互系统[J];现代电子技术;2016年17期

5 丁毅;曹江涛;李平;姬晓飞;;复杂背景下的手势识别算法研究[J];自动化技术与应用;2016年08期

6 吴彩芳;谢钧;俞璐;周开店;;连续隐马尔科夫的静态手势识别法[J];计算机系统应用;2016年08期

7 姜丽;杨冬风;尹淑欣;;基于计算机视觉的静态手势识别系统[J];科技展望;2016年20期

8 黄凯;吕健;潘伟杰;;体感展示系统中的交互映射动作分析与研究[J];包装工程;2016年14期

9 陈保;苏顺开;;基于Kinect的手势识别与阈值法[J];数字技术与应用;2016年07期

10 潘万彬;赵伟华;;翻转课堂在人机交互技术课程中的研究与应用[J];赤峰学院学报(自然科学版);2016年12期

相关硕士学位论文 前3条

1 何娜娜;面向三维手势交互界面的用户视觉关注分布特征研究[D];济南大学;2015年

2 杨学文;面向交互语义的用户基本手势实时检索方法研究[D];济南大学;2015年

3 黄忠柱;三维交互界面中用户手势的表达风格研究[D];济南大学;2015年

【二级参考文献】

相关期刊论文 前10条

1 杨学文;冯志全;黄忠柱;何娜娜;;结合手势主方向和类-Hausdorff距离的手势识别[J];计算机辅助设计与图形学学报;2016年01期

2 冯志全;杨波;徐涛;唐好魁;吕娜;;基于自然手势跟踪的直接操作型三维人机交互范式[J];计算机学报;2014年06期

3 王海;金晅宏;;彩色图像中基于Hu矩的手势识别方法研究[J];信息技术;2013年11期

4 冯志全;杨波;郑艳伟;徐涛;唐好魁;;基于用户行为分析的手势跟踪方法[J];软件学报;2013年09期

5 武霞;张崎;许艳旭;;手势识别研究发展现状综述[J];电子科技;2013年06期

6 冯志全;蒋彦;;手势识别研究综述[J];济南大学学报(自然科学版);2013年04期

7 关然;徐向民;罗雅愉;苗捷;裘索;;基于计算机视觉的手势检测识别技术[J];计算机应用与软件;2013年01期

8 刘松涛;殷福亮;;基于图割的图像分割方法及其新进展[J];自动化学报;2012年06期

9 刘大有;刘春辰;王生生;;环境智能中上下文推理方法研究综述[J];模式识别与人工智能;2011年05期

10 武汇岳;张凤军;刘玉进;胡银焕;戴国忠;;基于视觉的互动游戏手势界面工具箱[J];软件学报;2011年05期

相关硕士学位论文 前9条

1 刘炳超;手势三维跟踪中的观测似然模型研究[D];济南大学;2013年

2 陈静;基于Kinect的手势识别技术及其在教学中的应用[D];上海交通大学;2013年

3 陈子毫;基于深度信息的手势检测与跟踪[D];华南理工大学;2012年

4 林燕;基于多模型融合的人手三维跟踪研究[D];济南大学;2012年

5 许婷;基于行为分析的运动人手跟踪方法的研究[D];济南大学;2011年

6 朱德良;基于交互分析的人手三维跟踪方法研究[D];济南大学;2011年

7 邬大鹏;基于视觉的手势识别及人机交互研究[D];南京航空航天大学;2010年

8 孔俊其;基于三维加速度传感器的手势识别及交互模型研究[D];苏州大学;2009年

9 朱杰;基于数据手套和跟踪器的人机交互技术的研究[D];解放军信息工程大学;2009年

本文编号：2837132