基于增强现实的遥操作视觉方法研究与实现
发布时间：2021-09-11 11:42
人在一定距离之外操控机器执行任务的方式称为遥操作。在机械智能化尚未满足要求的今天,在一些危险环境如核工业,采矿工作,排爆工作,太空探索等任务中,通过人的远程参与控制机器,不仅可以保障操作人员的生命安全,还可以充分发挥人的主观判断和操作经验应对突发状况。视觉是人类获取外界信息的最主要来源,对增强操作者对远端现场态势的把控十分重要,因此,针对遥操作视觉临场感系统的研究越来越广泛。然而,在立体视觉空间中,与现实世界中的相同距离判断相比,感知的自我中心距离经常被低估,即存在深度感知被压缩的问题。本文针对遥操作视觉临场感系统中存在的深度感知压缩问题进行了研究,主要工作包括:（1）设计并完成了一套遥操作视觉临场感实验系统。系统为操作者提供立体视觉,增强操作者的立体感和沉浸感;实现头部随动功能,操作者可在本地通过头部转动控制远程双目相机拍摄的方向;实现了视频无线传输,远端视频图像可通过WIFI传回本地;同时,搭配了一套可遥控移动机器人,用于遥控操作实验。立体视觉采用双目相机视频采集和头盔显示的方法,视频分辨率为1280×720,加入图像处理算法后平均帧率为22帧;头部随动通过云台载动双目相机转动实现...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
图2-2双目相机实物图
电子科技大学硕士学位论文8分辨率、双目基线距离，以及双目视频同步有一定的要求。另外，由于相机架设在云台上，在选型时应该充分考虑相机的结构和重量。综合上述因素，最终选择莱纳机器视觉科技提供的HNY-003B型号定基线高帧率USB3.0高清双目相机。该双目相机感光元件为CMOS，图像传感器为AR0135，在拥有小尺寸和低成本的基础上，仍然保持了高性能和高质量全局快门的图像采集能力。该双目相机采用USB3.0接口（兼容USB2.0），支持UVC协议。相机单目视角场实测为78°，畸变小，较为贴合人眼舒适观察视角。该双目相机质量为157g，实物图如图2-2。图2-2双目相机实物图（2）高速云台双目相机载于高速云台之上，并随高速云台转动而转动。高速云台是保证远端摄像机拍摄方向与本地端操作人员观察角度相一致的最主要部件。为了实时跟随操作人员观察方向，云台至少具有两个自由度，即垂直方向和水平方向，且两个自由度上的最大角速度应该大于操作员头部正常转动的角速度。经过上述分析，选择乐幻索尔科技司提供的两自由度金属舵机旋转云台作为系统随动云台，实物图如下。图2-3云台实物图云台可提供水平和垂直两个方向的自由度，其中水平转动范围为270°，垂直转动范围是90°，符合人头部转动范围。7.4V供电电压下，两轴的转动速度均为
第二章遥操作视觉临场感系统设计9360°/s，大于人头部的转动速度。实测载重量为1kg，完全满足载动双目相机157g的质量。（3）头盔显示器头盔显示器对立体视频图像显示效果的好坏直接影响操作人员对现场环境的临场感。本系统中选用上海乐相科技有限公司设计与研制的大朋E3立体显示头盔。头盔重量（不含头带）约300g；具有对角线110度视场角，视野清晰范围大；内部集成了9轴惯性测量单元，能够实时捕获操作者的头部姿态；采用三星AMOLED显示屏，分辨率达到1440*2560，刷新率70Hz；整体系统延迟小于20ms。其外观图如图2-4所示。图2-4大朋E3头盔外观图片（4）主控板核心板主控核心板在本系统中负责双目摄像头视频数据的采集、云台舵机的方向控制，及与本地端的双向数据传输。主控板硬件部分由：电源管理部分、微控制器最小系统、USB2.0转换模块、无线传输模块构成，主控核心板硬件如图2-5所示。微控制器(STM32F101)USB2.0转换模块(Fe1.1s)无线传输模块（WRTnode)摄像头UARTWIFIUARTPWM主控板电源管理模块图2-5主控核心板硬件框图
【参考文献】：
期刊论文
[1]基于信息交互技术的遥控车极地条件信号处理研究[J]. 黄鹏飞,姜涛. 科技资讯. 2017(24)
[2]达·芬奇机器人手术系统及其研究进展[J]. 唐鲁,李翠,李晓芳,田秀,苏艳磊,王飞. 护理研究. 2015(16)
[3]嫦娥三号“玉兔号”巡视器遥操作中的关键技术[J]. 吴伟仁,周建亮,王保丰,刘传凯. 中国科学:信息科学. 2014(04)
[4]基于虚拟3D视觉和力觉交互的SEM遥纳操作系统[J]. 李东洁,荣伟彬,孙立宁,肖万哲,邹宇. 机器人. 2013(01)
[5]临场感智能采灰器的设计[J]. 赵玉良,戚晖,张晓鹏,李健. 传感器与微系统. 2011(07)
[6]立体视觉临场感系统的设计和实现[J]. 胡海鹰,李家炜,王捷,刘宏. 光学技术. 2006(S1)
[7]临场感遥操作机器人综述[J]. 刘寒冰,赵丁选. 机器人技术与应用. 2004(01)
[8]基于视觉临场感的机器人遥操作系统[J]. 徐旭明,叶榛,陶品,王洋. 高技术通讯. 2000(03)
[9]基于多通道增强现实的机器人遥操作技术研究[J]. 丑武胜,孟偲,王田苗. 高技术通讯. 2004 (10)
博士论文
[1]排爆机器人遥操作性能研究[D]. 曾建军.上海交通大学 2010
硕士论文
[1]基于感兴趣区域（ROI）分割的双目定位系统关键技术研究[D]. 刘远远.重庆大学 2018
[2]基于KCF跟踪算法的目标轨迹记录系统的设计与实现[D]. 张乘龙.中国科学院大学(中国科学院沈阳计算技术研究所) 2017
[3]基于增强现实技术的遥操作方式设计与实现[D]. 林渊.哈尔滨工业大学 2016
[4]基于增强现实技术的移动机器人遥操作系统关键技术研究[D]. 李国梁.山东大学 2015
[5]基于ORB算法的双目视觉测量与跟踪研究[D]. 刘铭.哈尔滨工业大学 2014
[6]雷管引信炸药装填高度的立体视觉测量研究[D]. 祁欢.长春工业大学 2014
[7]水面无人艇视觉临场感遥操控技术研究[D]. 王诗强.哈尔滨工程大学 2014
[8]基于双目立体视觉立体匹配算法研究与应用[D]. 黄承亮.南京理工大学 2013
本文编号：3392936
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
图2-2双目相机实物图
电子科技大学硕士学位论文8分辨率、双目基线距离，以及双目视频同步有一定的要求。另外，由于相机架设在云台上，在选型时应该充分考虑相机的结构和重量。综合上述因素，最终选择莱纳机器视觉科技提供的HNY-003B型号定基线高帧率USB3.0高清双目相机。该双目相机感光元件为CMOS，图像传感器为AR0135，在拥有小尺寸和低成本的基础上，仍然保持了高性能和高质量全局快门的图像采集能力。该双目相机采用USB3.0接口（兼容USB2.0），支持UVC协议。相机单目视角场实测为78°，畸变小，较为贴合人眼舒适观察视角。该双目相机质量为157g，实物图如图2-2。图2-2双目相机实物图（2）高速云台双目相机载于高速云台之上，并随高速云台转动而转动。高速云台是保证远端摄像机拍摄方向与本地端操作人员观察角度相一致的最主要部件。为了实时跟随操作人员观察方向，云台至少具有两个自由度，即垂直方向和水平方向，且两个自由度上的最大角速度应该大于操作员头部正常转动的角速度。经过上述分析，选择乐幻索尔科技司提供的两自由度金属舵机旋转云台作为系统随动云台，实物图如下。图2-3云台实物图云台可提供水平和垂直两个方向的自由度，其中水平转动范围为270°，垂直转动范围是90°，符合人头部转动范围。7.4V供电电压下，两轴的转动速度均为
第二章遥操作视觉临场感系统设计9360°/s，大于人头部的转动速度。实测载重量为1kg，完全满足载动双目相机157g的质量。（3）头盔显示器头盔显示器对立体视频图像显示效果的好坏直接影响操作人员对现场环境的临场感。本系统中选用上海乐相科技有限公司设计与研制的大朋E3立体显示头盔。头盔重量（不含头带）约300g；具有对角线110度视场角，视野清晰范围大；内部集成了9轴惯性测量单元，能够实时捕获操作者的头部姿态；采用三星AMOLED显示屏，分辨率达到1440*2560，刷新率70Hz；整体系统延迟小于20ms。其外观图如图2-4所示。图2-4大朋E3头盔外观图片（4）主控板核心板主控核心板在本系统中负责双目摄像头视频数据的采集、云台舵机的方向控制，及与本地端的双向数据传输。主控板硬件部分由：电源管理部分、微控制器最小系统、USB2.0转换模块、无线传输模块构成，主控核心板硬件如图2-5所示。微控制器(STM32F101)USB2.0转换模块(Fe1.1s)无线传输模块（WRTnode)摄像头UARTWIFIUARTPWM主控板电源管理模块图2-5主控核心板硬件框图
【参考文献】：
期刊论文
[1]基于信息交互技术的遥控车极地条件信号处理研究[J]. 黄鹏飞,姜涛. 科技资讯. 2017(24)
[2]达·芬奇机器人手术系统及其研究进展[J]. 唐鲁,李翠,李晓芳,田秀,苏艳磊,王飞. 护理研究. 2015(16)
[3]嫦娥三号“玉兔号”巡视器遥操作中的关键技术[J]. 吴伟仁,周建亮,王保丰,刘传凯. 中国科学:信息科学. 2014(04)
[4]基于虚拟3D视觉和力觉交互的SEM遥纳操作系统[J]. 李东洁,荣伟彬,孙立宁,肖万哲,邹宇. 机器人. 2013(01)
[5]临场感智能采灰器的设计[J]. 赵玉良,戚晖,张晓鹏,李健. 传感器与微系统. 2011(07)
[6]立体视觉临场感系统的设计和实现[J]. 胡海鹰,李家炜,王捷,刘宏. 光学技术. 2006(S1)
[7]临场感遥操作机器人综述[J]. 刘寒冰,赵丁选. 机器人技术与应用. 2004(01)
[8]基于视觉临场感的机器人遥操作系统[J]. 徐旭明,叶榛,陶品,王洋. 高技术通讯. 2000(03)
[9]基于多通道增强现实的机器人遥操作技术研究[J]. 丑武胜,孟偲,王田苗. 高技术通讯. 2004 (10)
博士论文
[1]排爆机器人遥操作性能研究[D]. 曾建军.上海交通大学 2010
硕士论文
[1]基于感兴趣区域（ROI）分割的双目定位系统关键技术研究[D]. 刘远远.重庆大学 2018
[2]基于KCF跟踪算法的目标轨迹记录系统的设计与实现[D]. 张乘龙.中国科学院大学(中国科学院沈阳计算技术研究所) 2017
[3]基于增强现实技术的遥操作方式设计与实现[D]. 林渊.哈尔滨工业大学 2016
[4]基于增强现实技术的移动机器人遥操作系统关键技术研究[D]. 李国梁.山东大学 2015
[5]基于ORB算法的双目视觉测量与跟踪研究[D]. 刘铭.哈尔滨工业大学 2014
[6]雷管引信炸药装填高度的立体视觉测量研究[D]. 祁欢.长春工业大学 2014
[7]水面无人艇视觉临场感遥操控技术研究[D]. 王诗强.哈尔滨工程大学 2014
[8]基于双目立体视觉立体匹配算法研究与应用[D]. 黄承亮.南京理工大学 2013
本文编号：3392936
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3392936.html
