基于TOF深度摄像机的深度超分辨率恢复和深度融合研究

发布时间：2018-12-09 14:55

【摘要】：三维技术在远程医疗、军事训练、教育教学、游戏娱乐、三维电视等领域有着广阔的应用前景和商业价值。对深度信息的精确获取是三维研究和三维实际应用中所必需的关键技术。近年来,随着三维技术的不断发展,许多的应用诸如：人机交互、三维电视、场景重建、手势识别、增强现实等都对获取场景的深度信息提出了更高的要求。这些应用需要更加稠密精确的深度信息,也需要更加快速的获取深度信息。本论文作者所在的实验室提出了较完整的具有创新性自然三维电视系统概念,其目的在于还原实际拍摄场景的真实深度,并向观众提供舒适可信的三维观赏体验。自然三维电视关键技术就在于真实获取场景的深度信息,根据深度信息重构出多个视点,以实现自由视点观看实际场景。因此视点重构技术对深度信息的精度就提出了更高的要求。 目前主流的深度信息获取方式有两种：被动深度获取和主动深度获取。被动深度获取方法出现较早,其核心即立体匹配算法,主要思路是根据多相机拍摄所得到的同一场景一组图像,寻找场景中的同一点在这组图像中的匹配点。但是被动立体算法无法获取遮挡区域的信息,并且局部窗口算法或者全局优化算法均各自存在不可克服的缺点。本实验室进行的前期研究就是基于被动深度获取的思路获取场景深度,并以此为基础来实现三维自由视点显示,但这种方法所得到的深度图质量难以满足要求,最终的三维显示效果还有待提高。因此本论文决定使用主动深度获取方法来提高所得到深度信息的精度。主动立体采用特定的深度摄像机直接测量场景的真实深度。其中应用范围较广的是ToF摄像机(全称为time-of-flight camera),它能实时采集场景深度信息,其工作原理是通过发射源发射可控频率调制光线来进行测距。本文基于ToF深度摄像机对深度摄像机所测量深度的误差进行矫正,深度超分辨率恢复,以及结合立体匹配的深度融合做了一系列的实验和研究,主要的创新点和贡献如下： 1.本文简要阐述了ToF深度摄像机的光学成像机制；本文针对影响ToF深度摄像机获取数据精确的最主要两类噪声(环境光噪声和多径误差噪声)进行了深入分析,提出了有效的针对性噪声消除方法。具体而言,根据从不同类型的室内场景实际拍摄数据分析这两类噪声产生的机理,建立了这两类噪声产生误差的数学模型；然后根据数学误差模型提出了相应的ToF原始深度图的滤波算法,实验表明可有效地消除ToF深度摄像机所捕获深度图的原始误差。 2.由于受到ToF深度相机成像原理的限制,所获取深度图分辨率往往不高,因此存在深度图低分辨率与彩色场景图高分辨率难以匹配这一不足。为了提升ToF深度图的分辨率,本文根据ToF深度图特有性质,结合压缩感知相关理论,提出了一种联合字典学习算法,用于ToF深度图超分辨率恢复。该算法从训练数据中学习得到超完备字典,基于超完备字典去重建原始低分辨率深度图而得到高分辨率深度图。为了提升算法性能,本文在联合字典学习和重建过程中也提出了相应的分类和索引机制。 3.为了进一步获取高质量稠密深度图,本文从ToF深度摄像机获取的深度图出发,结合立体匹配算法的优点,提出了一种基于ToF深度图的主被动深度获取融合算法。该算法设计了ToF深度能量函数来指导立体匹配,并结合所提出的主被动深度图置信度代价优化函数来实现深度融合。该算法可有效降低ToF深度图中一部分区域存在错误深度信息而造成的不利影响,也能够解决传统立体匹配方法易在重复纹理区域和低纹理区域出现错误匹配这一不足,相比较单独采用主动深度获取方法或被动深度获取方法去获取深度信息而言,这一融合算法取得了更精确的深度信息。
[Abstract]:......
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TN948.41

【相似文献】

相关期刊论文 前10条

1 钟山,沈振康;图像静态超分辨率重建[J];红外与毫米波学报;2004年02期

2 张地;何家忠;彭宏;;低分辨率人脸序列的超分辨率重构识别[J];韶关学院学报;2007年06期

3 浦剑;张军平;黄华;;超分辨率算法研究综述[J];山东大学学报(工学版);2009年01期

4 胡宇;赵保军;沈庭芝;刘朋樟;;基于偏最小二乘的人脸超分辨率重构[J];北京理工大学学报;2010年09期

5 何小海;吴媛媛;陈为龙;卿粼波;;视频超分辨率重建技术综述[J];信息与电子工程;2011年01期

6 兰诚栋;胡瑞敏;卢涛;韩镇;;低质量监控图像鲁棒性人脸超分辨率算法[J];计算机辅助设计与图形学学报;2011年09期

7 罗福根;;超分辨率重构[J];信息通信;2011年05期

8 卫保国;康娱;;基于约束块重建的人脸超分辨率方法[J];计算机仿真;2011年12期

9 李家德;张叶;贾平;;采用非局部均值的超分辨率重构[J];光学精密工程;2013年06期

10 兰诚栋;陈亮;卢涛;;采用后验信息构建稀疏原子库的超分辨率人脸重建[J];北京工业大学学报;2013年07期

相关会议论文 前10条

1 潘明海;刘永坦;赵淑清;徐佳祥;干恒富;;一种多运动目标的超分辨率检测算法[A];第九届全国信号处理学术年会（CCSP-99）论文集[C];1999年

2 李兵兵;陆耀;王晓明;李劲娴;;基于金字塔回归策略的人脸超分辨率[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

3 戴光智;陈铁群;薛家祥;;基于微扫描技术焊缝超声图像的超分辨率重建[A];第十七届全国测控计量仪器仪表学术年会（MCMI'2007）论文集（上册）[C];2007年

4 郑杰;韩梅;;基于微位移的超分辨率重建技术[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

5 张光昭;胡敬炉;谢泽明;;超分辨率亚毫米波付里叶变换谱[A];第四届全国波谱学学术会议论文摘要集[C];1986年

6 缪泓;徐海明;;微平移序列图像的超分辨率重建技术[A];中国力学学会学术大会'2009论文摘要集[C];2009年

7 徐启飞;颜刚;陈武凡;;关于序列图像的超分辨率重建算法[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（上册）[C];2007年

8 徐忠强;朱秀昌;;基于正则算法的压缩视频超分辨率重建[A];第十三届全国图象图形学学术会议论文集[C];2006年

9 池小梅;马建伟;黄景涛;;基于压缩传感的超分辨率红外成像研究[A];中国自动化学会中南六省（区）2010年第28届年会·论文集[C];2010年

10 黄华;何惠婷;;一种基于CCA空间超分辨率的人脸识别方法[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

相关博士学位论文 前10条

1 袁建华;超分辨率重建中若干问题的研究[D];中国科学院研究生院（电子学研究所）;2006年

2 范冲;三线阵影像超分辨率重建[D];中南大学;2007年

3 张小红;视频去运动模糊及超分辨率研究[D];浙江大学;2012年

4 江涛;同视域多帧视觉影像超分辨率重建技术研究[D];山东科技大学;2005年

5 郭晓新;超分辨率重建问题的研究[D];吉林大学;2005年

6 韩玉兵;图像及视频序列的超分辨率重建[D];东南大学;2006年

7 卢涛;低质量监控视频人脸超分辨率技术研究[D];武汉大学;2013年

8 乔建苹;超分辨率重建与图像增强技术研究[D];山东大学;2008年

9 张艳;空间域超分辨率图像重建技术研究[D];解放军信息工程大学;2007年

10 李展;空间超分辨率图像重建算法研究[D];华南理工大学;2012年

相关硕士学位论文 前10条

1 郭婵;基于天线校正的超分辨率算法研究[D];华中科技大学;2009年

2 沈华;基于插值和主元素分析的人脸超分辨率算法研究[D];湖南大学;2010年

3 刘欢喜;图像人脸检测及超分辨率处理[D];上海交通大学;2008年

4 熊伟;监控视频序列超分辨率重建技术的研究[D];西南交通大学;2010年

5 邵健;压缩视频超分辨率重建的研究与实现[D];东北大学　;2009年

6 王栋栋;基于局部结构相似的视频超分辨率算法[D];中南大学;2011年

7 杨振罡;视频超分辨率重建技术在人脸识别中的应用[D];上海交通大学;2008年

8 王本虹;基于细节的超分辨率重建技术研究[D];电子科技大学;2012年

9 谢陈毛;基于稀疏理论的超分辨率技术研究[D];浙江师范大学;2012年

10 陈潇红;视频超分辨率技术研究[D];浙江大学;2012年

，

本文编号：2369569