基于TOF传感器的广告媒体屏交互软件设计及实现

发布时间：2020-10-20 00:22

　　 随着计算机技术的飞速发展,人机交互逐渐朝着自然用户界面发展,自然用户界面即用户用最基础、最常见的交流方式,如表情、手势动作、语言等与计算机进行交互。其中对人体手势动作的运用目前获得研究者广泛关注并正在迅速发展。早期的计算机视觉系统都是基于彩色RGB图像,彩色RGB图对光照条件要求苛刻,处理效率低并且效果不佳。深度图则是近些年发展迅速的一种图像表征方法,由深度传感器采集获取。飞行时间(Time Of Light,TOF)技术的原理是深度传感器将近红外光调制后主动发出,遇到物体后反射,通过计算反射和发射时间差或相位差来得到被拍摄物体的距离信息。传统广告媒体屏只能完成简单的传播信息功能,无法与用户进行双向性的互动,只能单向、被动地接受信息,缺乏交互性。为了满足各种场景下的交互需求,本文基于ESPROS公司研发的EPC660 TOF传感器设计了一套广告媒体屏交互系统,包括手势交互模块,远程交互模块以及触摸交互模块。手势交互模块能够识别5种静态手势,发送手势指令控制广告媒体屏,远程交互模块能够远程控制广告媒体屏,触摸交互模块能够通过触摸屏控制广告媒体屏。本文首先简要介绍人机交互技术及TOF传感器的发展现状,分析广告媒体屏的功能需求。按照功能需求给出软、硬件总体设计,针对软件各模块,介绍其技术背景。接着研究基于深度图像的手势识别方法,将手指数量特征和中心距离特征融合作为特征向量,采用基于带权值的模板匹配法对手势分类识别。最后介绍了交互系统设计及实现,并对系统功能进行测试和总结。
【学位单位】：大连理工大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP391.41;TP212
【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 手势识别技术国内外发展现状
        1.2.2 TOF传感器技术发展现状
    1.3 本文的工作内容
2 系统总体设计及相关技术介绍
    2.1 系统硬件及软件总体设计
    2.2 EPC660TOF传感器深度图像获取
        2.2.1 EPC660TOF传感器简介
        2.2.2 EPC660TOF传感器的基本测量原理
        2.2.3 EPC660TOF传感器测量模式
        2.2.4 EPC660TOF传感器测量流程及误差分析
    2.3 手势识别模块相关技术
        2.3.1 手势图像滤波
        2.3.2 手势分类方法
    2.4 远程交互模块相关技术
        2.4.1 MQTT协议简介
        2.4.2 MQTT协议消息格式
        2.4.3 阿里云物联网套件
    2.5 触摸屏交互模块相关技术
        2.5.1 嵌入式图形界面开发工具Qt简介
        2.5.2 Qt信号和槽机制
    2.6 播放模块相关技术
        2.6.1 基于Gstreamer管道的媒体播放
        2.6.2 基于FFmpeg的视频帧读取
    2.7 本章小结
3 基于TOF传感器的手势识别
    3.1 手势的定义
    3.2 手部区域分割
        3.2.1 深度直方图
        3.2.2 计算最佳分割阈值
        3.2.3 手部区域分割
    3.3 手势图像预处理
    3.4 手势特征提取
        3.4.1 手掌中心定位
        3.4.2 中心距离特征
        3.4.3 K-Curvature指尖检测算法
        3.4.4 基于凸包的指尖检测算法
    3.5 基于带权值模板匹配的手势分类识别
    3.6 本章小结
4 广告媒体屏各交互模块设计及实现
    4.1 手势识别模块设计与实现
        4.1.1 深度数据获取和显示
        4.1.2 手势识别及控制信息发送
    4.2 远程交互模块设计与实现
        4.2.1 基于MQTT协议的远程交互设计
        4.2.2 基于MQTT协议的远程交互客户端实现
    4.3 播放模块设计与实现
        4.3.1 基于Gstreamer管道的媒体播放
        4.3.2 基于GPS授时的多屏同步互动方案设计
        4.3.3 基于UDP的控制消息通信协议设计
    4.4 触摸屏交互模块设计与实现
    4.5 本章小结
5 广告媒体屏交互软件测试
    5.1 系统测试环境
    5.2 播放模块和触摸屏交互模块测试
    5.3 远程交互模块测试
    5.4 手势识别模块测试
        5.4.1 不同条件下手势识别测试
        5.4.2 手势控制功能测试
    5.5 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢

【参考文献】

相关期刊论文 前10条

1 吕蕾;张金玲;朱英杰;刘弘;;一种基于数据手套的静态手势识别方法[J];计算机辅助设计与图形学学报;2015年12期

2 沈晴;班晓娟;常征;郭靖;;基于视频的人机交互中动作在线发现与时域分割[J];计算机学报;2015年12期

3 杨凯;魏本征;任晓强;王庆祥;刘怀辉;;基于深度图像的人体运动姿态跟踪和识别算法[J];数据采集与处理;2015年05期

4 樊星;赵菁华;;用户界面与人机交互标准化综述[J];信息技术与标准化;2015年04期

5 李吉;顾德;刘飞;;基于Kinect深度信息的手指及手部跟踪研究[J];计算机应用与软件;2015年03期

6 李东洁;李君祥;张越;曾禛;;基于PSO改进的BP神经网络数据手套手势识别[J];电机与控制学报;2014年08期

7 尹章芹;顾国华;陈钱;钱惟贤;;三维深度图像在自动客流计数系统中的应用[J];中国激光;2014年06期

8 王昱;;基于ExtJS的JSON数据交换格式研究[J];现代计算机(专业版);2013年03期

9 杨波;宋晓娜;冯志全;郝晓艳;;复杂背景下基于空间分布特征的手势识别算法[J];计算机辅助设计与图形学学报;2010年10期

10 吴小艳,王维庆,杨春祥,何山,王小龙;几种基于模板匹配法的数字图像识别算法分析[J];计量技术;2005年06期

相关博士学位论文 前1条

1 李兴东;基于TOF相机的四足机器人地形感知及静步态规划研究[D];哈尔滨工业大学;2015年

相关硕士学位论文 前9条

1 张莹莹;基于Kinect的大屏幕手势互动系统研究与实现[D];安徽大学;2017年

2 肖瑶;基于TOF相机的环境智能探测技术研究[D];北京交通大学;2016年

3 姜克;基于深度图像的3D手势识别[D];江南大学;2015年

4 龚亚非;基于编码结构光的三维重建系统研究[D];长安大学;2014年

5 崔小伟;深度图像滤波及超分辨率重建算法研究[D];合肥工业大学;2014年

6 关庆余;基于MQTT协议的移动社交网络客户端的设计与实现[D];中国科学院研究生院（沈阳计算技术研究所）;2014年

7 屈燕琴;基于深度图像的手势识别与灵巧手交互[D];上海大学;2014年

8 杨竞争;基于Qt的车灯控制检测系统[D];华中科技大学;2013年

9 周刚;基于Gstreamer的流媒体视频服务器的研究与实现[D];西安电子科技大学;2012年

本文编号：2847922