基于MR的书画临摹系统研究

发布时间：2020-04-07 01:16

【摘要】：近年来,随着智能手机的大规模普及、VR盒子的流行和各种高质量VR头盔的上市,VR产业迎来了一个高速发展期,同时也带动MR和AR的快速发展。VR、MR和AR提供了一种新的平台,许多传统的应用可以在新平台下获得新的生命,而许多以前难以实现的应用可以在新平台下顺利实现。本论文主要探索了MR技术在书画临摹方面的应用。论文的主要工作和创新总结如下。本文提出了基于MR的书画临摹系统,并分别在光学透射式MR头盔和视频透视式MR头盔予以实现。与传统书画临摹方式相比,基于MR的书画临摹系统直接将虚拟书帖/画帖显示在桌上,不需要将薄纸覆盖在字帖上,不存在遮挡问题,因此不仅可以临摹传统浓墨书帖,还可以临摹传统临摹方法很难实现的浓淡色彩细腻变化的画帖。MR不仅可以静态展示全幅,还可以一笔一划地动态展示书写作画过程,相当于手把手地教。另外基于MR的书画临摹系统既可以工作在摹写方式,即长时间不间断地显示书帖/画帖,也可以工作在临帖方式,即间歇式显示书帖/画帖,将传统的临帖和摹写两种不同的练习方式集中在一个系统中。同时基于MR的书画临摹系统是一种纯数字系统,经济环保。本文提出并设计实现了一款光学透射式MR头盔,深入研究了光学透射式MR头盔中的三维注册问题,推导出了简洁透射变换公式。通过手机监测头盔运动,实现了从图像特征点提取,到手机空间位置与姿态解码和书帖/画帖空间逆变换整个三维注册过程,使得显示在书桌上的书帖/画帖与书桌融为一体,不随头盔的移动而移动。本文将ZED深度相机与HTC Vive VR头盔相结合,在UNITY 3D平台上编程,实现了一款视频透射式MR头盔,利用ZED相机的空间位置与姿态自动跟踪能力,编程解决了三维注册问题,使得显示在书桌上的书帖/画帖与书桌融为一体,不随头盔的移动而移动。实验表明,本论文开发的提出了基于MR的书画临摹系统工作稳定。该系统所涵盖的技术不仅可以用于书画临摹,还可广泛用于相关行业的技能培训、虚拟训练等。
【图文】：

成像原理,恐龙

在硬件配置方面，Ｍａｇｉｃ邋Ｌｅａｐ邋Ｏｎｅ使用的是多核处理器ＮＶＩＤＩＡ邋Ｔｅｇｒａ邋Ｘ２，逡逑包括有四核ＡＲＭ邋Ａ５７邋ＣＰＵ，基于ＮＶＩＤＩＡ邋Ｐａｓｃａｌ的ＧＰＵ和双核Ｄｅｎｖｅｒ邋２逡逑ＣＰＵ，具有邋２５６邋个邋ＣＵＤＡ邋核心；内置邋８ＧＢ邋ＲＡＭ邋＋邋１２８ＧＢ邋ＲＯＭ。同时邋Ｍａｇｉｃ逡逑Ｌｅａｐ邋Ｏｎｅ配备有多个传感器，使得它对外部环境具有较好的感知能力，表现出较逡逑强的与外部环境的交互能力，例如我们将恐龙从游戏界面丢到地面上时，恐龙可逡逑能会摔倒，然后它会尝试自己爬起来。如果在这只恐龙旁边放了另一只恐龙，两逡逑只恐龙就会像是为了争夺领地一样打起来；如果在恐龙旁边放了一个小小的战士，逡逑恐龙还会暴怒的冲上去，然后把他踩扁，当然战士也会逃跑，形成一幅电影里常逡逑见的恐龙追逐人类的场景。不论恐龙还是战士，他们在追逐的过程中，都会避开逡逑桌脚，就像避开石头一样，不会撞上去，就像把真实的电影情节放在我们面前一逡逑样。逡逑相对于发达国家来说，国内的混合现实技术的研宄起步比较晚【１１］。目前一些逡逑５逡逑

透视式,头盔,头盔显示器,视频

第二类通过视频合成方式将虚拟场景和现实场景融为一体，称为视频逡逑透射式（ｖｉｄｅｏ邋ｓｅｅ－ｔｈｒｏｕｇｈ）邋ＭＲ邋头盗［４２］。逡逑光学透视式ＭＲ头盔的基本原理如图２．１所示。它通过一个半透半反镜实现逡逑虚拟场景和现实场景的融合。虚拟景物的左右视差图像显示在双目立体显示屏上，逡逑通过半透半反镜反射进入人眼，产生立体虚像（绿色三角形）；同时，人眼可以通逡逑过半透半反镜看到现实场景（红苹果）。这样人眼最终看到的是虚拟和现实融合为逡逑一体的场景（绿色三角形和红苹果相互叠加）。逡逑＾［ｎ逡逑逦１虚拟景物逡逑叠加影像＼＼逡逑真实景物逡逑图２．１光学透视头盔显示器原理图逡逑视频透视式ＭＲ头盔的基本原理如图２．２所示。它通过立体摄像机实时拍摄逡逑现场环境（红苹果），并将它与虚拟景物的左右视差图像（绿色三角形）通过图像逡逑叠加技术融合为一体，再将融合后的图像显示在双目立体显示屏上。这样人眼最逡逑终看到的是虚拟和现实融合为一体的场景（绿色三角形和红苹果相互叠加）。逡逑１０逡逑
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：J212;TP391.41

【参考文献】