基于自然特征的虚实融合技术研究

发布时间：2016-07-26 17:22

第 1 章 绪论

在计算机领域种种新技术的飞速发展下，人们更希望能够突破二维显示器的约束而以一种更加自然和谐的方式与计算机进行交流，在人们无法接触的真实环境下，通过将使用计算机构造的虚拟物体融入到真实场景中，并用显示设备显示给用户，实现虚实融合，实时交互，为人们更好地认识世界提供帮助。人类通过视觉认识、观察世界，而三维的现实世界经过成像设备后，因很多信息被隐藏而成为了二维的图像。通过计算机技术来获取图像中被隐藏的信息，恢复现实世界中的三维信息进而根据三维信息将虚拟物体注册到真实场景有助于人们更全面地感知、识别和理解客观世界。当前恢复真实场景中目标的三维信息多采用精密的硬件仪器设备，，价格昂贵，操作复杂，不利于现实生活中的普及，而使用普通摄像机实时拍摄和利用匹配算法计算出目标的三维信息，不受硬件设备及环境的限制，成本低廉，使用方便，但对算法的性能有很高的要求，探索能够自动捕捉真实环境中的目标并获取目标三维信息的方法对保证虚实融合的实时与准确至关重要。

.........

第 2 章 自然特征目标检测跟踪技术的研究

2.1 检测模块

提取出检测过程中的目标特征能够确保 AdaBoost 算法高效地计算目标图像特征， Haar 特征提取算法计算速度较快，它利用黑色与白色矩形在子窗口图像中对应部分的像素灰度值之和描述这个区域部分的特征，这种将计算特定区域内像素灰度值之和转化为计算积分图像中的四个顶点会大大简化了算法的运算。利用人脸特征分布不同可以得到不同的 Haar 特征，计算黑白矩形框的像素值总和的差并标记数值大的 Haar 特征。如图 2.4 中右下两幅图像分别代表眼角和眉毛的 Haar 特征。

2.2 跟踪模块 

与检测不同的是跟踪针对的为视频序列，在连续的视频帧中检测出跟踪目标是否存在，并连续跟踪定位已检测出的目标。每一帧之前和之后有很大的关联性，有静态图像的特性，还有目标运动方向的预测，之前的参照系等很多信息。综合使用这些信息，能够最大限度地简化算法的繁琐度，提升整体性能。随机蕨的分门别类设计特点能够区分复杂的特征，并用模式分类的方法来取代特征提取和匹配，从而提升运算速度以及鲁棒性，这个部分主要采用在线随机蕨算法[25]，再用 SURF 特征匹配准确地定位到目标[26]。跟踪系统采用随机蕨训练获取图像模板和跟踪训练样本集，但是传统的随机蕨算法在训练的过程中需要很长时间。所以将随机蕨算法进行改进得到在线随机蕨算法，在线训练使用检测到的目标作为训练样本。目标样本库由经过初始化获取的目标作仿射变换得到，检测目标时会自动更新样本库。这个算法使用在线更新样本的方法减少了训练的样本数，既降低所需的内存也可满足系统的实时性要求。

第 3 章 三维深度信息的计算 .................. 18

3.1  摄像机模型 ........... 18
3.2  摄像机标定 ............................ 20

第 4 章 试验系统实现........29

4.1  系统框架设计 ................ 36 

4.2  图像采集模块 ......... 37 
4.3  检测跟踪模块 ................ 38 
4.4 系统校正模块 ......................... 39 
4.5  三维信息获取模块 ................. 43 
4.6 虚实融合模块 ....................... 43 
4.7  系统运行测试 .............. 45 
4.8 小结 ........................ 46
第 5 章 结论 ................ 18

第 4 章 试验系统实现

4.1 系统框架设计

系统的检测跟踪模块采用了目标的自动检测和跟踪闭环系统。既可有效地减少检测模块在构建大量的正负样本库和构建复杂级联分类器的工作量，又可以解决跟踪模块长时间跟踪目标产生的误差聚积导致目标跟踪失败的问题。系统的双目摄像机校准采用了两种模式：一种是自动校准，另一种为手动校准。自动校准可以在很少的人为交互下完成整个校准过程，但是校准精度有限，会影响后期的三维重建过程的精度。而手动校正需要大量的人为交互，但是其计算过程可以受到控制，可以进行迭代校准，得到更高精确度的校准结果。在三维重建过程中，视差图的计算采用积分图像等辅助方法加速计算过程，使得视差图的计算能满足实时系统的要求。然后通过获取的视差信息完成场景中物体的三维信息的获取，并将真实场景中的虚拟物体进行渲染后显示到用户终端。 

4.2 图像采集模块

由于网络摄像头受到环境因素的影响较大，根据环境因素的实际情况可以对图像进行预处理。例如当环境的光照不均匀时，可以通过直方图的均衡化方法进行预处理，来降低光照对成像质量的干扰；当摄像头采集的图像存在大量的噪声时，可以使用均值滤波等技术进行图像的平滑处理。经过预处理后会得到一组比较理想的图像，其流程如图 4.3 所示。采集到图像后要检测跟踪目标。为了提升系统的智能性，减少使用者的交互，本文在检测目标时设计了自动检测功能。在系统中目标为使用者在视频中出现的脸部。通过智能检测出人脸以后，会通过跟踪部分进行跟踪，其原理在第 2 章已经介绍。检测跟踪部分由四个子模块组成，具体有离线的分类器训练，目标检测，目标跟踪和系统控制子模块，如图 4.4 所示。离线训练模块主要通过构建样本库后，不同样本经过系统的训练得到一个级联的分类器，样本库包含正样本和负样本两个子集。其中正样本的作用是为检测目标提供依据，所有的正样本应该是和目标样本相似或者是由目标样本在不同情况下形成的样本组成；负样本包括其余的任何图片，其作用是消除目标检测的干扰，样本库构建成功后就可以通过提取样本的特征并训练从而得到分类器。 
....

第 5 章 结论 

增强现实技术的广泛应用领域使其成为众多学科中的研究热点。增强现实中基于自然特征的虚实融合技术是增强现实方面研究的热门方向之一。通过分析当前虚实融合的发展趋势并根据课题研究的实际情况，结合对国内外大量文献的阅读和分析，本文主要研究了基于自然特征的虚实融合技术。首先设计了一种基于自然特征的检测跟踪方法。采用 AdaBoost 级联分类器作为目标的自动检测算法。跟踪方法则是以在线随机蕨为核心对目标进行定位，为了提高系统的实时性采用 2BitBP 描述特征，采用 P-N 学习方法快速定位目标。同时设计控制模块解决相似目标干扰和目标跳变的问题，通过协调系统对目标的检测和跟踪，解决了因长时间运行带来的跟踪误差累积和跟踪失败后系统无法自动恢复等问题。针对立体匹配算法运行速度较慢的问题设计了视差计算的加速方法，用积分图像计算求解移动窗体内匹配代价，并通过实验证明加速后的立体匹配算法在整体计算性能有较大的提升。由立体匹配得到视差信息，再通过三维反投影计算得到目标物体的三维信息，最后进行三维场景重建的工作。

........

参考文献（略）

本文编号：76001