基于功能磁共振成像的自然视频编码与语义网络分析

发布时间：2020-06-19 04:01

【摘要】：大脑是人类最重要的信息处理中心,视觉信息的获取和理解是人类对外界感知和认识的主要途径,对视觉信息的解读成为探索大脑对外界信息处理机制的一种重要方式,是神经信息科学领域的研究热点。而探索大脑的语义信息理解机制为视觉信息解读提供了新的研究思路和方法。功能磁共振成像技术由于能够获取高空间分辨率的大脑功能活动图像而成为大脑视觉信息解读的主要途径之一。针对大脑语义信息理解机制问题,本文主要借助fMRI技术来对自然视频任务条件下的大脑语义网络进行探索研究。着重研究了自然视频语义特征的视觉编码模型和大脑体素对词语类别的预测响应,并在编码模型的基础上结合fMRI特征选择方法构建大脑语义网络,以及利用复杂网络分析方法来对大脑语义网络及WordNet词语连接网络进行分析,主要工作包括以下三点。1.构建了一种基于自然视频语义特征的视觉编码模型,并利用该模型来分析大脑体素对语义信息的预测响应。通过对视频中的对象及动作进行标注并借助WordNet词语层次关系来构建视频刺激语义特征,使用机器学习中的模型构建方法来获得视觉编码模型。结果表明,提取的语义特征能够有效表征视频刺激信息。另外,编码模型的性能及大脑体素对不同语义信息的预测响应具有明显的差异表明大脑语义网络构建的有效性。2.在视觉编码模型的基础上结合fMRI特征选择方法构建大脑语义网络。从复杂网络统计特征的角度来对大脑语义网络及WordNet词语连接网络进行异同点分析。结果表明,不同被试大脑语义网络之间的相似度很高,而与WordNet词语连接网络具有较大的差异。3.从复杂网络社区检测的角度来对大脑语义网络及WordNet词语连接网络进行异同点分析,通过网络的社区结构及同一个社区间词语节点语义信息的关联关系的分析结果表明,大脑是根据词语对应事物的某种关联特征来对词语进行认知分类,与WordNet词典中按词语的层次关系对词语进行定义、区分的方式有所不同。
【学位授予单位】：江西财经大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TN919.81
【图文】：

时空分辨,方法,人脑,大脑

大脑是人类的信息处理中心，是人类最重要的功能器官。大脑无时无刻接收和输出复杂且庞大的信息，信息传递、处理的高效性确保了人脑认知的正常运转。与现有的信息处理系统相比，人脑的信息处理能力非常强大兴的神经信息学领域[1]的主要研究目标就是探索人脑的运转机制，神经科域也越来越重视视觉信息的解读。目前神经影像技术在不断发展，利用神经成像设备读取大脑的活动模式成为可能。现在已经有多种非入侵式神经成像技术：脑电Electroencephalography, EEG）、脑磁图（Magnetoencephalography, MEG）性近红外光谱（functional Near-Infrared Spectroscopy, fNIRS）、功能磁共（functional Magnetic Resonance Imaging, fMRI）。对大脑进行功能成像的 EEG、MEG、fMRI、单光子发射计算机断层成像（Single-Photon Emismputed Tomography, SPECT）和正电子发射断层成像（Positron Emismography, PET），其时间和空间分辨率比较如图 1-1 所示。相比较而言，f术空间分辨率高，因此成为研究人类视觉信息的主要技术手段。

示意图,视觉信息,流程,示意图

能磁共振成像的自然视频编码与语义网络分析系，实现大脑对视觉刺激响应的预测[3]，描述的是人脑在感知外大脑的活动模式。解码是一个逆向操作，主要通过大脑对视觉刺别或重构视觉刺激[4]，根据最终要实现的目标，解码研究分为三个息的分类、识别与重构。编码与解码是一对互补的密不可分的操可以通过求解编码模型的逆模型间接实现，具有优良性能的解码的编码研究基础，并且此时解码模型能够用来进一步解释编码模fMRI 的自然图像编码与解码研究取得了一系列极为重要的成果[5-8] 的自然视频语义编码与解码研究是构建视频语义内容和大脑活动解码模型，探索分析大脑在接受自然视频时是如何进行语义理解觉信息解读研究中具有吸引力和挑战性的研究热点。

【参考文献】