仿真假体视觉下的动作识别研究

发布时间：2020-11-08 10:17

　　 眼部疾病是影响人们生活质量的主要疾病之一,中国是世界上盲人最多的国家。对于由视网膜色素变性以及老年黄斑色素变性引起的失明患者来讲,视觉假体的研究为盲人提供了一种可行的视觉替代方案。假体通过对视神经系统进行电刺激,使视觉中枢产生光幻视,为假体植入者提供可理解的视觉感受,从而恢复部分或全部视觉功能。仿真假体视觉下的动作识别研究对于帮助盲人更好地通过视觉假体感知外界环境事物,辨别人体行为方式有着一定的参考价值。动作识别的研究通常包括手势识别,运动识别,姿态预测等方向。手势不但是一种重要的肢体语言,且基于视觉的手势识别技术是目前人机交互研究的主要方向。因此,在仿真假体视觉的研究中,针对手势的识别也具有重要的研究意义。手势识别的效果一定程度上取决于摄像机获取的图像的质量,如图像分辨率,是否携带深度信息等均会对图像质量产生影响。本文首先通过对基于Kinect获取的深度图像进行人体动作识别研究。通过对获得的深度图像进行简单的图像处理,针对左移、右移、上蹦和下蹲四个动作,设计一个动作识别系统进行识别。实验结果表明,基于深度图像的动作识别可以较好地将人体与背景分离,实现良好的动作识别效果。本文接下来通过针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,使用Kinect获取彩色图像以及深度图像进行手势识别研究,探究一种仿真假体视觉下更合适的图像处理手段。通过Kinect获取深度图像,利用Opencv库函数对获取的图像进行基于深度距离的阈值分割将人体与背景分离,再对分离出来的前景图像进行中值滤波,以及基本的形态学处理方法,不断对图像地进行腐蚀、膨胀处理,从而尽量地去除图像噪声,为之后的手势识别提供良好的手势姿势图像。再对处理过后的手势图像进行像素化处理,就可以进行仿真假体视觉下的手势识别实验。实验要求被试者在32×32,48×48,64×64三种分辨率下进行从0到9共十个数字手势和从A到Z共二十六个字母手势的手势识别实验。结果表明,随着分辨率的增加,手势识别的准确率也不断增加。同一分辨率下,深度图像下的手势识别率总体来讲要高于彩色图像下的手势识别率,且在32×32分辨率下,二者差异显著。
【学位单位】：内蒙古科技大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：R318;TP391.41
【部分图文】：

内蒙古科技大学硕士学位论文-2-视网膜假体，按照微电极阵列在视觉通路上刺激视网膜位置的不同[3]，主要分为视网膜上假体、视网膜下假体以及脉络膜上假体等。视网膜上假体系统放置在视网膜感觉神经的表面上，与神经纤维和神经节细胞层相邻。这些装置的外科手术通常通过睫状体切开术治疗，使用微电极阵列用粘性固定到视网膜表面。这种技术的优点在于，外科手术入路和野外对于进行常规玻璃体视网膜手术的外科医生来说更为熟悉，而器械放置和移植的修订可以不那么复杂。视网膜下假体的基本原理是通过将装置定位在眼底视网膜，利用视网膜中间神经元的固有信号处理能力，产生更生理的视觉形式，对图像处理的需求更少。此外，该装置位于更靠近目标视网膜的位置，并且仅需要较低的电刺激就可以使得原有视网膜信号得以放大[5]。脉络膜上腔视觉假体构造与视网膜上视觉假体类似，不同之处在于二者的用于刺激视网膜的电极阵列的位置不同。并且脉络膜上腔视觉假体不需要经皮手术，因此可能具有较小的侵入性，并且更容易进行维修或更换。此外，由于其与神经感觉视网膜的距离，这种设计似乎需要更大的刺激能力来引发视觉感知。视网膜假体在植入过程中的微创性，以及能够利用假体植入患者本身的部分正常视觉通路对视觉信息进行处理，更有助于呈现良好的光幻视。视网膜假体植入微电极的固定方法仍需进一步改进。图1.1描述了不同视觉假体的分类和植入方式：图1.1视觉假体分类及植入部分示意图[6]视觉假体的基本工作原理是通过微型摄像头捕捉外界的图像信息，将其发送到微处理器，微处理器通过对图像和视频进行处理，通过在假体患者视觉通路上植入相应的微电极，将处理后的图像信息转化为电刺激的脉冲信号[7]，传输给眼球后部

内蒙古科技大学硕士学位论文-3-的电极板。电极板通过传过来的电刺激脉冲信号刺激完好的视觉神经产生电刺激，激使大脑产生刺激相关的明暗信号，进而在视觉中枢产生一种视觉感知的“光幻视”，使患者可以恢复部分视觉，重新“看”到外界信息[8]。图1.2视觉假体结构组成及信息模式图[9]患者感知的图像清晰度与植入患者脑内的电极数量是正相关关系。也就是说，随着电极数目增加，相应地获取到的图像分辨率也增强，患者感知的光幻视图像也就越具体，接收的视觉信息越多。但植入人体刺激电极的数量需要严格限制，尽可能使用最少的电极，在最适当的位置插入电极，产生尽量良好的视觉感知。图1.2为视觉假体的图像信息的提取及处理过程。1.2课题研究的目的及意义1.2.1论课题研究目的视觉是人们与外界环境交互的基本方式之一，也是人与人之间进行交流沟通的基本途径之一。不同原因导致的不同程度上的视觉疾病甚至失明，给患者生活造成极大的影响。对于普通的工薪家庭来说，这无疑加重了生活的负担。视觉假体通过对部分依旧良好的视觉通路进行电刺激使视力残疾者产生视觉感受，为帮助他们重建光明带来了可能与希望。为了帮助视力残疾患者，已经做了大量的研究，现有的技术已经可以通过视觉假体技术使患者们重获视觉感知，但受到植入人体内部的电极阵列数量的限制，患者看到的假体提供给患者的部分视觉图像信息依旧很少，有时甚至并不能够满足患者需求。因此，如何使得在有限数量下的电极收集到的外界环境信息更好的提供给假体佩戴者，帮助他们形成可理解可辨别的视觉感受，依旧是假体研究需要不断努力的目标和方向。在植入视觉假体后，需要进行大量的眼手协调训练帮助他们适应假体视觉从而完成日常生活的任务。

内蒙古科技大学硕士学位论文-5-者视野中的位置不佳，导致不能够让患者清晰地认知外部世界，但这为视觉假体的建立与发展奠定了有力的基矗刺激电极一般位于硬脑膜外表，致使诱发光幻视需要较大的电流刺激，且呈现的图像分辨率较差，并且容易导致头疼、癫痫等并发疾病的发生[5]。虽然在视觉假体的研发上，美国和德国已有产品投入市场，但多数研究工作是先通过仿真假体视觉的方式开始，再过渡到临床实验。澳大利亚、比利时、日本和韩国等研究小组也对仿真假体视觉的相关内容进行了进一步的研究。波士顿的研发小组研发了一种可伸缩技术的无线设备，该设备可以植入到视网膜下并可以单独进行控制。图1.3ArgusII视网膜假体系统及其结构组成[13]ArgusII视网膜上假体（SecondSightMedicalProductsInc.，Sylmar，CA，USA）是2011年第一台获得CE（CONFORMITYWITHEUROPEAN）标志的设备，并于2013年获得FDA[15]（FoodandDrugAdministration）批准。它是全球使用最广泛的视网膜假体，到目前为止，约有超过250名患者接受了植入治疗。ArgusII系统由外部组件和可植入组件组成，如图1.3所示。外部组件由安装在眼镜上的摄像机组成，该摄像机连接到便携式视觉处理单元，用来处理图像以便传输到外部通信线圈。该线圈通过无线射频（RadioFrequency，RF）遥测技术为内部匹配线圈提供电源感应和数据传输，内部匹配线圈通过硅胶巩膜扣固定在巩膜上。一旦接收到，RF信号被解码回电信号，并使用专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）设置输出命令，其直接传递到眼内视网膜刺激器，包括60个微电极阵列，每个直径200μm，覆盖20°视野。其集成电路采用气密密封，且由加速老化试验测试，具有超过10年的使用寿命。ArgusII二期试验涉及30名受试者，用
【参考文献】

相关期刊论文 前5条

1 李孟辉;任秋实;;视觉假体——盲人复明的新希望[J];世界复合医学;2015年03期

2 陈建军;段富;;Kinect骨骼信息下的动态手势识别研究[J];科学技术与工程;2014年34期

3 夏鹏;胡洁;戚进;柴新禹;彭颖红;;视觉修复系统模型建立与信息处理[J];上海交通大学学报;2014年02期

4 陈皓;路海明;;基于深度图像的手势识别综述[J];内蒙古大学学报(自然科学版);2014年01期

5 王星;姚军平;章毅;刘娜;郑小林;阴正勤;侯文生;;硬脑膜外视皮层电刺激的实验研究[J];中华眼视光学与视觉科学杂志;2011年06期

相关博士学位论文 前2条

1 盖伟;虚拟现实中实时交互方法研究[D];山东大学;2017年

2 王星;硬脑膜外电刺激皮层神经假体的能量信号传输关键技术与实验研究[D];重庆大学;2010年

相关硕士学位论文 前10条

1 王媛媛;基于卷积神经网络的图像深度估计研究[D];西安理工大学;2018年

2 段璟晗;基于FPGA的视觉假体显著图提取算法的研究[D];西安理工大学;2017年

3 蒋亚杰;基于Kinect的人体姿态识别和机器人控制[D];深圳大学;2017年

4 黄添娣;基于肤色分割和统计模板匹配的手势识别人机交互系统[D];广东技术师范学院;2017年

5 张永杰;基于Kinect深度超像素手势识别[D];宁波大学;2017年

6 张莹莹;基于Kinect的大屏幕手势互动系统研究与实现[D];安徽大学;2017年

7 袁涛;上肢康复机器人训练运动自动获取与综合编排系统研究[D];东华大学;2017年

8 王兴鲁;基于Unity3D与Kinect的体感交互技术应用研究[D];兰州交通大学;2017年

9 周俊;基于稀疏表示的单幅图像去雨雪算法[D];天津大学;2017年

10 李春雪;基于Kinect传感器的室内三维地图生成研究[D];哈尔滨工程大学;2016年

本文编号：2874646