教学环境中多点触控手写场景下编辑手势设计与识别

发布时间：2017-09-19 17:34

  本文关键词：教学环境中多点触控手写场景下编辑手势设计与识别

  更多相关文章： 多点触控 多点手写交互 编辑手势设计 手势识别

【摘要】：随着多点触控设备的普及,教学环境中逐渐出现了多点触控交互白板、多点触控屏等多点触控设备,多点触控交互已成为一种必然趋势。目前,教学过程中多点触控环境下的手写交互存在着很多不足,教学环境中大部分多点触控设备的交互仍停留两指缩放、三指滚动以及四指拨移等手势交互阶段,现通用的两指缩放手势,虽然在静态的书写阶段,解决了简单放大、缩小这样的动作需要通过缩放工具逐步完成的问题,优化了教师学生等用户体验,但教学过程中多点触控手写输入状态场景下对书写内容进行选择、复制、粘贴、擦除等更常用的编辑操作,仍然需要频繁借助工具栏切换书写和编辑两种状态完成,这一交互方式并没有得到改善。针对“目前大部分教学过程中多点触控手写输入状态下,在对手写内容进行编辑时,需要频繁地借助工具栏切换手写输入和编辑两种状态”这一不符合日常习惯的交互方式,本文开展了以下研究工作：首先,通过大量文献研究,整理归纳了教学环境下多点触控技术、多点触控手势以及多点触控手势识别等与多点触控手写交互相关技术原理；其次,在总结目前通用的多点触控手势的基础上,根据手势设计原则,设计了选择、复制、粘贴、擦除等简洁、直观的教学过程多点触控手写环境下中常用功能操作的手势,用于提高多点触控手写交互的操作效率,优化用户体验；再次,根据设计的常用手势,提出了“手写交互时需要借助工具栏或辅助按键在输入状态和编辑状态之间切换”这一影响用户体验的交互方式的解决方案,基于手写状态下设计的手势,通过问卷调查,引入用户比较认可的手势,对引入的手势进行识别,并提出了基于触点数目、触点间距离、触点凸包面积、触控时间、触控力度、触点轨迹等六个维度组成的多点触控手势识别模型,实现了多点触控环境下无需借助工具栏或辅助按键操作的手写输入与编辑状态的切换；最后,阐述了该手势识别模型的实施过程,通过实验验证了该方法的有效性,测试计算了该手势识别方法的手势识别率,展示了手势应用示例,并分析了该手势识别模型对其他手势识别的通用性以及引入手势后对教学过程中多点触控手写交互操作效率的影响。本文的特色之处在于根据手势设计原则,设计了教学过程中多点触控环境下手写交互中操作、复制、粘贴、删除等常用功能操作的手势,并实现了以上手势的识别,为更多的多点触控手势识别提供了参考思路；无需摄像头、特殊触笔等特定硬件设备,花费较小成本,解决了多点触控环境下在线手写交互时手写笔迹与手势笔迹难于辨别的问题,使目前教学过程中多点触控环境下手写交互编辑时完成常用的选择、复制、粘贴、擦除编辑操作可以不需要借助工具栏直接完成,优化了用户体验。目前,此技术已应用在本单位自主研发的教学平台starC的电子白板中,将在第三代产品中发布相应功能。
【关键词】：多点触控 多点手写交互 编辑手势设计 手势识别
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：G434
【目录】：

• 摘要5-7
• Abstract7-11
• 1 绪论11-18
• 1.1 引言11-12
• 1.2 研究背景12-13
• 1.3 研究现状13-15
• 1.3.1 多点触控技术13
• 1.3.2 教学中多点触控手写场景下手写交互13-15
• 1.4 研究内容与组织结构15-18
• 1.4.1 本文研究内容15-16
• 1.4.2 本文组织结构16-18
• 2 多点触控技术和多点触控手势概述18-37
• 2.1 多点触控技术18-26
• 2.1.1 多点触控技术的特点18-19
• 2.1.2 多点触控技术的实现方案19-26
• 2.2 多点触控手势26-30
• 2.2.1 手势描述26-27
• 2.2.2 多点触控手势概述27-30
• 2.3 多点触控手势识别30-36
• 2.3.1 基于多点触控设备的手势识别的BP神经网络算法31-33
• 2.3.2 基于多点触控设备手势识别的隐马尔科夫模型(HMM)33-35
• 2.3.3 基于多点触控设备的手势识别的Freeman链码35-36
• 2.4 本章小结36-37
• 3 教学中多点触控手写场景下编辑手势设计37-46
• 3.1 教学中多点触控手写场景下手势设计存在的问题37-38
• 3.2 教学中多点触控手写场景下手势设计的影响因素38-39
• 3.3 教学中多点触控手写场景下手势设计的原则39-40
• 3.4 教学中多点触控手写场景下编辑手势设计40-45
• 3.4.1 目前通用的多点触控手势40-41
• 3.4.2 教学中多点触控手写场景下编辑手势的设计41-45
• 3.5 本章小结45-46
• 4 教学中多点触控手写场景下编辑手势识别46-75
• 4.1 多点触控手势识别模型46-64
• 4.1.1 引入手势描述46-47
• 4.1.2 手势识别模型的建立47-49
• 4.1.3 模型各个参数分析49-64
• 4.2 识别模型的实施64-68
• 4.2.1 整体设计64-65
• 4.2.2 流程设计65-66
• 4.2.3 数据结构设计66-68
• 4.3 实验验证与应用示例68-73
• 4.3.1 手势识别率68-69
• 4.3.2 手势操作效率69-70
• 4.3.3 手势应用案例70-73
• 4.4 模型的通用性分析73-74
• 4.5 本章小结74-75
• 5 总结与展望75-77
• 5.1 工作总结75-76
• 5.2 工作展望76-77
• 参考文献77-81
• 附录81-82
• 致谢82

【参考文献】

中国期刊全文数据库 前10条

1 詹思维;李博;杨立成;王闯;樊超;;投射电容式触控方案研究[J];工业控制计算机;2015年06期

2 方成艳;孔伟青;邓秀勤;;多点触控手势识别算法的研究[J];软件工程师;2014年11期

3 黄靓;;受抑全内反射技术实现的多点触控装置设计[J];电视技术;2014年13期

4 金梦;王文晓;李欢欢;崔志鹏;;投射式多点触控电容触摸屏[J];河南科技;2014年12期

5 王竞雪;宋伟东;赵丽科;王伟玺;;改进的Freeman链码在边缘跟踪及直线提取中的应用研究[J];信号处理;2014年04期

6 王莹;;2013年触摸屏产业发展动态[J];电子产品世界;2013年04期

7 刘斌;王涛;;一种高效的平面点集凸包递归算法[J];自动化学报;2012年08期

8 李建国;陈志文;;光多点触摸技术综述[J];科技广场;2012年03期

9 余博;郭雷;赵天云;钱晓亮;;Freeman链码描述的曲线匹配方法[J];计算机工程与应用;2012年04期

10 于丽;;有“塑胶水晶”之美誉的亚克力[J];科技信息;2011年07期

，

本文编号：883016