混合现实鱼缸系统及其交互技术研究
发布时间：2020-12-09 12:33
鱼缸和鱼对人的身心健康有积极的作用。鱼缸具有舒缓作用,观察鱼类会产生放松效果,且会吸引人的注意力。此外,鱼缸也是中国家庭常见的观赏设备,构造比较简单、成本也不高。本文研发了一种基于真实鱼缸的混合现实(Mixed Reality,MR)系统,将真实的鱼缸环境与虚拟的水下世界有效融合,提供一个有趣的混合现实环境,用于开发儿童英语学习、孤独症谱系障碍(ASD,原称自闭症)儿童的认知康复训练等应用系统。本文研发的MR鱼缸系统,在真实鱼缸后侧的玻璃中间固化有液晶调光膜,用作投影幕布,投影画面可投在上面与真实鱼缸内的场景融合。而在鱼缸前面的玻璃上则嵌有红外触摸框,将鱼缸表面变身为触控交互面板。在MR鱼缸系统的实际应用中,如ASD儿童的认知康复训练的实际应用中,我们发现,由于玻璃和水的折射影响,投影在液晶调光膜的内容在到达人眼时会产生位置的“漂移”,导致不同用户在鱼缸前的不同位置进行触控交互时,存在“所触非所见”的现象,即产生触控交互不准的问题。此外,鱼缸内真实鱼类的来回游动,对虚拟场景造成一定的遮挡,使用户无法有效地获取虚拟场景信息。为此,本文研究了混合现实鱼缸系统及其交互技术。归纳的,本文的主要...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
图１－１?ＭＲ鱼缸的应用??
?山东大学硕士学位论文???第２章基础知识??２．１光的折射??光线从一种介质斜射入另一种介质时，由于光线在两种不同的物质中，其传播??速度是不同的，所以在不同介质的交界处，光线的传播方向会发生改变，从而发??生偏折，产生折射现象，如图２－１左图。在折射现象中，光路是可逆的。??Ｔ??图２－１光的折射现象（左）以及斯涅尔定律（右）图示??在计算机图形学中，我们利用斯涅尔定律（Ｓｎｅｌｌ’ｓ?Ｌａｗ）表示光的折射现象。??斯涅尔定律是描述光或其他的波，在发生折射时，入射角与折射角关系的一个公??式。斯涅尔定律的公式表示为：》ｉｓｉｎ０ｉ?＝?ｍｓｉｎ沒２，其中１１丨，ｎ２分别是发生折射前??后两种介质对应的折射率，０１和０２则是入射角和折射角，如图２－１右图。在一般情??况下，真空（或空气）的折射率默认为１，其他介质的折射率则比真空都要大，??也就是ｎ＞ｌ。常见的介质，比如水的折射率是１．３３，一般的玻璃的折射率是１．５。??２．２?Ｋｉｎｅｃｔ基础知识??Ｋｉｎｅｃｔ是微软推出的一款体感摄像头外设，包括彩色摄像头、深度传感器（可??用于面部表情和动作识别），以及多点阵列麦克风（可用于语音识别），可以识??别玩家的动作及语音，进行体感类游戏及语音识别等等。??９??
?山东大学硕士学位论文???２．２．１?Ｋｉｎｅｃｔ?坐标系??Ｋｉｎｅｃｔ有三个坐标２间：相机空间（Ｃａｍｅｒａ?Ｓｐａｃｅ）、深度空间（Ｄｅｐｔｈ?Ｓｐａｃｅ）??以及彩色空间（Ｃｏｌｏｒ?Ｓｐａｃｅ）。??１?？相机空间（Ｃａｍｅｒａ?Ｓｐａｃｅ）??相机空间坐标系指的是，以Ｋｉｎｅｃｔ红外相机中心为原点的３Ｄ空间坐标系，如??图２－２。相机空间的坐标系是跟现实世界一致的坐标系统，其坐标单位是米（ｍ），??可用于人体骨骼追踪、三维重建等等。???｝ｙ??????，??■／ｚ??图２－２?Ｋｉｎｅｃｔ相机空间坐标系??２．深度图像空间（Ｄｅｐｔｈ?Ｓｐａｃｅ）??深度图像空间用来描述深度图像的信息。ｘ代表列，ｙ代表行，（ｘ，ｙ）表示??深度图像上某一列某一行，对应的一个像素坐标。ｚ表现为深度图像上的灰度，是??深度相机测得的深度或者说距离，是物体到红外相机光心的距离，也就是物体到??相机空间坐标系ＸＯＹ平面的距离，所以物体在深度空间的ｚ值，与相机空间中的??ｚ值一致。在某些情况下，需要ｚ值才能将深度图像空间映射到其他空间。??３．彩色图像空间（ＣｏｌｏｒＳｐａｃｅ）??彩色图像空间用来描述彩色图像的信息，类似深度图像空间。ｘ代表列，ｙ代??表行，（Ｘ，ｙ）表示彩色图像上某一列某一行，对应的一个像素坐标。彩色相机??和红外相机并不在Ｋｉｎｅｃｔ的同一位置，所以二者观察的视角并不相同，此外彩色??图像和深度图像的分辨率也是不同的，所以两个图像直接不能按照像素直接进行??对应。??对于Ｋｉｎｅｃｔ不同空间的坐标，Ｋｉｎｅｃｔ?ＳＤＫ提供了一些方法来方便开发者进行??坐标转换，这些方法位于Ｋｉｎ
【参考文献】：
期刊论文
[1]基于3D计算机视觉的鱼类行为分析研究[J]. 汤一平,刘森森,石兴民,钟羽云. 高技术通讯. 2015 (03)
[2]基于单摄像机视频的鱼类三维自动跟踪方法初探[J]. 徐盼麟,韩军,童剑锋. 水产学报. 2012(04)
[3]三维坐标转换的非线性模型[J]. 曾文宪,陶本藻. 武汉大学学报(信息科学版). 2003(05)
本文编号：2906868
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
图１－１?ＭＲ鱼缸的应用??
?山东大学硕士学位论文???第２章基础知识??２．１光的折射??光线从一种介质斜射入另一种介质时，由于光线在两种不同的物质中，其传播??速度是不同的，所以在不同介质的交界处，光线的传播方向会发生改变，从而发??生偏折，产生折射现象，如图２－１左图。在折射现象中，光路是可逆的。??Ｔ??图２－１光的折射现象（左）以及斯涅尔定律（右）图示??在计算机图形学中，我们利用斯涅尔定律（Ｓｎｅｌｌ’ｓ?Ｌａｗ）表示光的折射现象。??斯涅尔定律是描述光或其他的波，在发生折射时，入射角与折射角关系的一个公??式。斯涅尔定律的公式表示为：》ｉｓｉｎ０ｉ?＝?ｍｓｉｎ沒２，其中１１丨，ｎ２分别是发生折射前??后两种介质对应的折射率，０１和０２则是入射角和折射角，如图２－１右图。在一般情??况下，真空（或空气）的折射率默认为１，其他介质的折射率则比真空都要大，??也就是ｎ＞ｌ。常见的介质，比如水的折射率是１．３３，一般的玻璃的折射率是１．５。??２．２?Ｋｉｎｅｃｔ基础知识??Ｋｉｎｅｃｔ是微软推出的一款体感摄像头外设，包括彩色摄像头、深度传感器（可??用于面部表情和动作识别），以及多点阵列麦克风（可用于语音识别），可以识??别玩家的动作及语音，进行体感类游戏及语音识别等等。??９??
?山东大学硕士学位论文???２．２．１?Ｋｉｎｅｃｔ?坐标系??Ｋｉｎｅｃｔ有三个坐标２间：相机空间（Ｃａｍｅｒａ?Ｓｐａｃｅ）、深度空间（Ｄｅｐｔｈ?Ｓｐａｃｅ）??以及彩色空间（Ｃｏｌｏｒ?Ｓｐａｃｅ）。??１?？相机空间（Ｃａｍｅｒａ?Ｓｐａｃｅ）??相机空间坐标系指的是，以Ｋｉｎｅｃｔ红外相机中心为原点的３Ｄ空间坐标系，如??图２－２。相机空间的坐标系是跟现实世界一致的坐标系统，其坐标单位是米（ｍ），??可用于人体骨骼追踪、三维重建等等。???｝ｙ??????，??■／ｚ??图２－２?Ｋｉｎｅｃｔ相机空间坐标系??２．深度图像空间（Ｄｅｐｔｈ?Ｓｐａｃｅ）??深度图像空间用来描述深度图像的信息。ｘ代表列，ｙ代表行，（ｘ，ｙ）表示??深度图像上某一列某一行，对应的一个像素坐标。ｚ表现为深度图像上的灰度，是??深度相机测得的深度或者说距离，是物体到红外相机光心的距离，也就是物体到??相机空间坐标系ＸＯＹ平面的距离，所以物体在深度空间的ｚ值，与相机空间中的??ｚ值一致。在某些情况下，需要ｚ值才能将深度图像空间映射到其他空间。??３．彩色图像空间（ＣｏｌｏｒＳｐａｃｅ）??彩色图像空间用来描述彩色图像的信息，类似深度图像空间。ｘ代表列，ｙ代??表行，（Ｘ，ｙ）表示彩色图像上某一列某一行，对应的一个像素坐标。彩色相机??和红外相机并不在Ｋｉｎｅｃｔ的同一位置，所以二者观察的视角并不相同，此外彩色??图像和深度图像的分辨率也是不同的，所以两个图像直接不能按照像素直接进行??对应。??对于Ｋｉｎｅｃｔ不同空间的坐标，Ｋｉｎｅｃｔ?ＳＤＫ提供了一些方法来方便开发者进行??坐标转换，这些方法位于Ｋｉｎ
【参考文献】：
期刊论文
[1]基于3D计算机视觉的鱼类行为分析研究[J]. 汤一平,刘森森,石兴民,钟羽云. 高技术通讯. 2015 (03)
[2]基于单摄像机视频的鱼类三维自动跟踪方法初探[J]. 徐盼麟,韩军,童剑锋. 水产学报. 2012(04)
[3]三维坐标转换的非线性模型[J]. 曾文宪,陶本藻. 武汉大学学报(信息科学版). 2003(05)
本文编号：2906868
本文链接：https://www.wllwen.com/shoufeilunwen/zaizhiyanjiusheng/2906868.html
教材专著
