基于视频显著性仿真假体视觉动作识别研究
发布时间：2021-11-01 19:43
在医学上,造成不可逆转性失明的视网膜变性疾病诸如视网膜色素变性（Retinitis Pigmentosa,RP）和老年性黄斑变性（Age-related Macular Degeneration,AMD）仍不可治愈。视觉假体的出现让患者有了重见光明的希望。随着科技的发展,目前世界上已经有很多研究小组可以针对视觉通路中的不同区域进行视觉假体植入,并且在临床应用上取得了卓越的成果。但目前视觉假体所产生的分辨率仍远远低于自然视觉的分辨率,因此找寻视觉假体下最优的图像处理策略是本研究的重点。本文设计了两个仿真假体视觉下的识别实验:实验一,使用三种图像处理策略,包括两种传统的边缘提取算法和一种基于感知检测的视频显著性区域检测算法（Saliency-Aware Geodesic,SAG）分别对UCF-101数据库中30个动作视频进行处理,并匹配不同仿真光幻视模板,得到三种不同分辨率（48×48,64×64,128×128）的动态视频。记录并统计不同分辨率和不同图像处理策略下,被试识别动作所用的时间和识别准确率。结果表明,在三种图像处理策略中,相较于其他两种传统的边缘提取算法,SAG明显提升了识别准...
【文章来源】：内蒙古科技大学内蒙古自治区
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
视觉通路[2]
内蒙古科技大学硕士学位论文2同的患者之间，视皮层视觉假体植入手术并不能被轻易地重现，这是因为相较于视网膜和视神经，视皮层的复杂度要更高[13]。图1.1视觉通路[2]以已商用的视网膜假体ArgusII为例，如图1.2所示，视觉假体通常由三部分构成：可以捕捉外部图像的摄像头，能将图像信号转化为电磁信号的微处理器和可以接受电磁信号并向指定区域发送电刺激的电极板[18]。其中植入人体内的电极板上的电极数目最为重要，电极数目越多，患者视野内的图像越清晰，分辨率越高，反之，患者视野内的图像越模糊，分辨率越低。直到目前为止，ArgusII视网膜上视觉假体所植入的电极数目已经从ArgusI视网膜上视觉假体的16个增长为60个。并且Alpha-IMS视网膜下视觉假体上可植入的电极数目也已经到达1500个[19]。图1.2ArgusII视觉假体[2]
内蒙古科技大学硕士学位论文14在获取基本框架之后，再使用贪婪算法确定新的框架：""""{argmax(min(,",)min(,",))}kkkkkkkgeogeooobBoUOOdoodob（式2.2）其中kO是第一次通过等式(1)被选出连接区域。k是从视频帧k12F={F,F,…}构建的无向加权图，"kB是背景区域，"kU是前景区域。框架区域的提取是一个基于kO不断迭代的过程。先最大化背景到之前选择的框架区域，直到被选出的kO区域达到"kU的10%。连接这些区域得到精准的显著区域。在此过程中让被提取的框架区域尽可能远离"kB，其次让被提取的框架区域尽可能贴近"kU，如图2.1所示。图2.1框架抽象过程[71]（a）原始帧kF（b）显著图（c）原始帧kF分为背景图"kB和前景图"kU（d）图中红色区域为第一个选中区域（e）黄色区域为后来的选中区域（f）迭代运算得到kO（g）蓝色区域是被选中区域间最短的测地距离（h）精准的框架区域图2.2.2多任务卷积神经网络算法（Multi-taskConvolutionalNeuralNetworks，MTCNN）MTCNN算法是一种基于深度学习的人脸检测和人脸对齐算法。它可以同时完成人脸检测和人脸分割任务。MTCNN框架采用了一个级联结构，包含有三个精心设计的深度卷积神经网络，可以使用粗到细的筛选方式，逐步预测人脸和人脸关键点位置。级联结构由三个子网络组成：检测网（P-Net），优化网（R-Net），输出网（O-Net）。P-Net框出视频中出现的所有候选人脸框。R-Net对这些候选人脸框对比，优化，挑选出最为精准的人脸框。O-Net输出最终的人脸框和面部关键点位置。另外，值得注意的是，为了得到更准确的人脸结果，在发送到级联神经网络之前，图像会被重新缩放，形成图像金
【参考文献】：
期刊论文
[1]光遗传学在视网膜色素变性治疗中的研究进展[J]. 张轶,黄熙,张军军. 中华眼底病杂志. 2018 (06)
[2]仿真假体视觉下眼手协调任务研究[J]. 蒋广琪,赵瑛,耿秀琳,李琦,谷宇. 中国康复医学杂志. 2018(10)
[3]高级视觉中枢损伤的诊断及治疗探索[J]. 刘婧雯,王佳伟. 国际眼科纵览. 2018 (04)
[4]基于时空信息融合的视频显著性区域检测算法[J]. 毕晓君,陈晗. 哈尔滨工程大学学报. 2018(11)
[5]视觉假体的研究进展[J]. 闫妍,柴新禹,陈垚,周传清,任秋实,李丽明. 生理学报. 2016(05)
[6]硬脑膜外视皮层电刺激的实验研究[J]. 王星,姚军平,章毅,刘娜,郑小林,阴正勤,侯文生. 中华眼视光学与视觉科学杂志. 2011 (06)
[7]兔眼脉络膜上腔多通道微电极阵列植入后视网膜电刺激阈值的研究[J]. 刘广峰,于伟泓,郑霖,杨志坤,董方田,王任鑫,王玮,李志宏. 眼科研究. 2010(05)
[8]用于视觉修复的柔性神经微电极阵列的电学性能表征[J]. 吴义伯,徐爱兰,惠春,任秋实,李刚. 仪器仪表学报. 2008(12)
博士论文
[1]视觉假体中人工视觉最小信息需求及其优化研究[D]. 陆燕玉.上海交通大学 2012
[2]硬脑膜外电刺激皮层神经假体的能量信号传输关键技术与实验研究[D]. 王星.重庆大学 2010
硕士论文
[1]扩展视网膜假体工作环境的红外图像增强策略研究[D]. 梁俊玲.郑州大学 2019
[2]仿真假体视觉下基于人脸检测的人脸识别研究[D]. 吴小贝.上海交通大学 2012
[3]仿真假体视觉下基于触觉感知的光幻视尺寸特性研究[D]. 陈盼盼.上海交通大学 2009
[4]视神经视觉假体微电极植入的应用解剖学研究[D]. 吴云霞.福建医科大学 2008
本文编号：3470688
【文章来源】：内蒙古科技大学内蒙古自治区
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
视觉通路[2]
内蒙古科技大学硕士学位论文2同的患者之间，视皮层视觉假体植入手术并不能被轻易地重现，这是因为相较于视网膜和视神经，视皮层的复杂度要更高[13]。图1.1视觉通路[2]以已商用的视网膜假体ArgusII为例，如图1.2所示，视觉假体通常由三部分构成：可以捕捉外部图像的摄像头，能将图像信号转化为电磁信号的微处理器和可以接受电磁信号并向指定区域发送电刺激的电极板[18]。其中植入人体内的电极板上的电极数目最为重要，电极数目越多，患者视野内的图像越清晰，分辨率越高，反之，患者视野内的图像越模糊，分辨率越低。直到目前为止，ArgusII视网膜上视觉假体所植入的电极数目已经从ArgusI视网膜上视觉假体的16个增长为60个。并且Alpha-IMS视网膜下视觉假体上可植入的电极数目也已经到达1500个[19]。图1.2ArgusII视觉假体[2]
内蒙古科技大学硕士学位论文14在获取基本框架之后，再使用贪婪算法确定新的框架：""""{argmax(min(,",)min(,",))}kkkkkkkgeogeooobBoUOOdoodob（式2.2）其中kO是第一次通过等式(1)被选出连接区域。k是从视频帧k12F={F,F,…}构建的无向加权图，"kB是背景区域，"kU是前景区域。框架区域的提取是一个基于kO不断迭代的过程。先最大化背景到之前选择的框架区域，直到被选出的kO区域达到"kU的10%。连接这些区域得到精准的显著区域。在此过程中让被提取的框架区域尽可能远离"kB，其次让被提取的框架区域尽可能贴近"kU，如图2.1所示。图2.1框架抽象过程[71]（a）原始帧kF（b）显著图（c）原始帧kF分为背景图"kB和前景图"kU（d）图中红色区域为第一个选中区域（e）黄色区域为后来的选中区域（f）迭代运算得到kO（g）蓝色区域是被选中区域间最短的测地距离（h）精准的框架区域图2.2.2多任务卷积神经网络算法（Multi-taskConvolutionalNeuralNetworks，MTCNN）MTCNN算法是一种基于深度学习的人脸检测和人脸对齐算法。它可以同时完成人脸检测和人脸分割任务。MTCNN框架采用了一个级联结构，包含有三个精心设计的深度卷积神经网络，可以使用粗到细的筛选方式，逐步预测人脸和人脸关键点位置。级联结构由三个子网络组成：检测网（P-Net），优化网（R-Net），输出网（O-Net）。P-Net框出视频中出现的所有候选人脸框。R-Net对这些候选人脸框对比，优化，挑选出最为精准的人脸框。O-Net输出最终的人脸框和面部关键点位置。另外，值得注意的是，为了得到更准确的人脸结果，在发送到级联神经网络之前，图像会被重新缩放，形成图像金
【参考文献】：
期刊论文
[1]光遗传学在视网膜色素变性治疗中的研究进展[J]. 张轶,黄熙,张军军. 中华眼底病杂志. 2018 (06)
[2]仿真假体视觉下眼手协调任务研究[J]. 蒋广琪,赵瑛,耿秀琳,李琦,谷宇. 中国康复医学杂志. 2018(10)
[3]高级视觉中枢损伤的诊断及治疗探索[J]. 刘婧雯,王佳伟. 国际眼科纵览. 2018 (04)
[4]基于时空信息融合的视频显著性区域检测算法[J]. 毕晓君,陈晗. 哈尔滨工程大学学报. 2018(11)
[5]视觉假体的研究进展[J]. 闫妍,柴新禹,陈垚,周传清,任秋实,李丽明. 生理学报. 2016(05)
[6]硬脑膜外视皮层电刺激的实验研究[J]. 王星,姚军平,章毅,刘娜,郑小林,阴正勤,侯文生. 中华眼视光学与视觉科学杂志. 2011 (06)
[7]兔眼脉络膜上腔多通道微电极阵列植入后视网膜电刺激阈值的研究[J]. 刘广峰,于伟泓,郑霖,杨志坤,董方田,王任鑫,王玮,李志宏. 眼科研究. 2010(05)
[8]用于视觉修复的柔性神经微电极阵列的电学性能表征[J]. 吴义伯,徐爱兰,惠春,任秋实,李刚. 仪器仪表学报. 2008(12)
博士论文
[1]视觉假体中人工视觉最小信息需求及其优化研究[D]. 陆燕玉.上海交通大学 2012
[2]硬脑膜外电刺激皮层神经假体的能量信号传输关键技术与实验研究[D]. 王星.重庆大学 2010
硕士论文
[1]扩展视网膜假体工作环境的红外图像增强策略研究[D]. 梁俊玲.郑州大学 2019
[2]仿真假体视觉下基于人脸检测的人脸识别研究[D]. 吴小贝.上海交通大学 2012
[3]仿真假体视觉下基于触觉感知的光幻视尺寸特性研究[D]. 陈盼盼.上海交通大学 2009
[4]视神经视觉假体微电极植入的应用解剖学研究[D]. 吴云霞.福建医科大学 2008
本文编号：3470688
本文链接：https://www.wllwen.com/yixuelunwen/swyx/3470688.html
