基于EEG与计算机视觉的人脸检索闭环系统

发布时间：2017-09-21 07:48

  本文关键词：基于EEG与计算机视觉的人脸检索闭环系统

  更多相关文章： 闭环系统 脑机接口 单次ERP检测 人脸检索 计算机视觉

【摘要】：计算机视觉技术已在大规模人脸数据库的检索上取得巨大成功,但是当人脸的表情、姿态、光照出现较大变化时,计算机视觉的性能会出现明显下降。人脑具有强大的人脸识别能力,在表情、姿态、光照等变化上表现出很强的鲁棒性。研究表明,人脑的EEG (Electroencephalography)信号中存在许多与人脸识别相关的ERP (Event Related Potential)成分,通过单次ERP检测识别人脸相关的ERP成分可以实现快速人脸识别。本文通过基于单次ERP检测的脑机接口技术将入脑强大的人脸识别能力与计算机视觉快速的计算能力结合,提出脑机融合的闭环系统,用于快速人脸检索。该闭环系统包含人脸图库,EEG模块和计算机视觉三大模块。在闭环系统的每轮迭代中,人脸图像通过快速序列视觉范式(Rapid Serial Visual Presentation, RSVP)呈现给被试,EEG模块通过单次ERP检测选出被试最感兴趣的候选人脸。计算机视觉模块根据视觉相似度从图库中选出与候选集合最相似的人脸图像在下一轮呈现给被试。经过多轮迭代,以图库中人脸图像的相似度排序作为最终的检索结果,以平均精度(average precision, AP)作为性能评估准则。与以往的闭环图像检索系统相比,该系统首次应用于难度较大的人脸检索,并设计了基于有监督(Support Vector Machine, SVM)和无监督(K-means和Self-organizing Map,SOM)的方法用于优化闭环策略,剔除EEG候选图像中的非目标人脸,显著提高系统的整体性能。离线分析表明,本论文提出的基于有监督的目标优化策略能将EEG候选人脸图像中目标人脸的比例从69.76%提高到96.95%,检索AP从0.8067提高到0.9044。基于无监督学习的目标优化策略则将目标人脸的比例提高到95.03%,检索AP提高到0.9162。在线人脸检索实验进一步验证了该闭环系统的优越性能。综上所述,将基于EEG的脑机接口技术和计算机视觉技术结合可克服计算机视觉在光照、姿态和表情上的缺陷,实现较为快速、准确的人脸检索。
【关键词】：闭环系统 脑机接口 单次ERP检测 人脸检索 计算机视觉
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要5-6
• Abstract6-13
• 第1章 绪论13-25
• 1.1 研究背景及意义13-14
• 1.2 脑机接口简介14-15
• 1.3 事件相关电位15-17
• 1.4 基于单次ERP检测的图像检索系统17-20
• 1.5 基于EEG和计算机视觉的图像检索系统20-23
• 1.6 研究目标与研究内容23-24
• 1.6.1 研究目标23
• 1.6.2 研究内容23-24
• 1.7 本文结构24-25
• 第2章 实验范式与闭环系统软件平台设计25-33
• 2.1 实验设计25-29
• 2.1.1 基于EEG的人脸检索实验范式25-26
• 2.1.2 人脸数据库建立26-27
• 2.1.3 数据采集27-29
• 2.2 闭环系统的软件平台设计29-32
• 2.2.1 用户界面29-31
• 2.2.2 EEG模块31-32
• 2.2.3 计算机视觉模块32
• 2.3 本章小结32-33
• 第3章 系统模块实现与闭环策略设计33-62
• 3.1 EEG模块33-42
• 3.1.1 脑电信号预处理和特征提取34-37
• 3.1.2 单次ERP检测37-42
• 3.2 计算机视觉模块42-44
• 3.2.1 人脸相似度计算42-43
• 3.2.2 基于相似度的人脸图像排序43-44
• 3.3 闭环策略设计与离线分析44-60
• 3.3.1 闭环策略设计45-46
• 3.3.2 检索结果衡量标准46-47
• 3.3.3 基于有监督学习的目标优化闭环策略47-53
• 3.3.4 基于无监督学习的目标优化闭环策略53-60
• 3.4 本章小结60-62
• 第4章 闭环人脸检索在线实验62-69
• 4.1 在线实验设计62-63
• 4.2 在线实验结果分析63-68
• 4.3 本章小结68-69
• 第5章 总结与展望69-71
• 5.1 工作总结69-70
• 5.2 展望70-71
• 参考文献71-75
• 作者简历75-76
• 致谢76

【相似文献】

中国期刊全文数据库 前10条

1 高美真;姜晓峰;;人类视觉与计算机视觉的比较[J];焦作师范高等专科学校学报;2007年01期

2 徐光yP;;以人为中心的计算机视觉应用[J];中国图象图形学报;2009年02期

3 韩红;焦李成;;谈计算机视觉课程的教学创新[J];计算机教育;2010年19期

4 王振华;胡占义;;2011国际计算机视觉大会简介[J];计算机辅助设计与图形学学报;2012年02期

5 刘兵;;关于计算机视觉成像的研究分析[J];煤炭技术;2013年06期

6 顾伟康;计算机视觉学的发展概况[J];浙江大学学报;1986年04期

7 蔡愉祖;计算机视觉概述[J];系统工程与电子技术;1986年01期

8 战德臣;陈景春;李仲荣;;计算机视觉研究的一种分布式专家系统模型[J];航天控制;1989年02期

9 赵荣椿;计算机视觉——未来测控技术中的重要角色[J];测控技术;1992年01期

10 周国清,唐晓芳;计算机视觉及其应用[J];中国计算机用户;1996年08期

中国重要会议论文全文数据库 前10条

1 宋小华;欧阳丹彤;;时空推理在计算机视觉的应用[A];2006年全国理论计算机科学学术年会论文集[C];2006年

2 谢丽欣;牟会;王欢;刘明霞;;基于计算机视觉的人脸检测与识别综述[A];第三届全国软件测试会议与移动计算、栅格、智能化高级论坛论文集[C];2009年

3 陈强;孙振国;;计算机视觉在焊接中的应用[A];第十次全国焊接会议论文集（第1册）[C];2001年

4 田涌涛;洪锡军;王有庆;李从心;;计算机视觉在先进制造技术中的应用[A];面向制造业的自动化与信息化技术创新设计的基础技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年

5 刘敏娟;洪添胜;李震;吴伟斌;刘志壮;;基于计算机视觉的荔枝检测与分级方法[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会（CSAE 2009）论文集[C];2009年

6 孙洁琼;孙明;;基于计算机视觉的水果外观品质检测分级研究现状[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年

7 王划一;王效良;;计算机视觉在绗缝机自动编程及控制中的应用[A];第二十届中国控制会议论文集（下）[C];2001年

8 周红;刘光蓉;;计算机视觉及其在谷物籽粒检测分级中的应用[A];中国粮油学会第三届学术年会论文选集（下册）[C];2004年

9 吴彦红;刘木华;杨君;郑华东;;大米外观品质的计算机视觉在线检测技术研究[A];农业机械化与新农村建设——中国农业机械学会2006年学术年会论文集（下册）[C];2006年

10 张庆敏;于龙;;计算机视觉在接触网定位器坡度识别中的应用[A];高速铁路接触网零部件安全可靠性技术论文集[C];2013年

中国重要报纸全文数据库 前9条

1 记者 李大庆;我在国际计算机视觉算法竞赛中摘金[N];科技日报;2011年

2 滕继濮;不放过一个“坏蛋”[N];粮油市场报;2011年

3 ;生活中的计算机视觉[N];中国计算机报;2006年

4 王悦承;逾30篇中国论文入选ICCV[N];中国计算机报;2005年

5 本报记者 滕继濮;无损检测技术：不放过一个“坏蛋”[N];科技日报;2011年

6 本报记者 薛娟;未来搜索：没有搜索的搜索[N];中国经济时报;2010年

7 记者 杨杰 实习记者 李乐;农机领域喜获四项大奖[N];中国农机化导报;2009年

8 张明平　记者 赵凤华;苹果的气味“看”出来[N];科技日报;2009年

9 记者 常丽君;新软件能“预测”你各年龄段长相[N];科技日报;2014年

中国博士学位论文全文数据库 前10条

1 王强;基于几何代数的计算机视觉问题研究[D];国防科学技术大学;2013年

2 王任大;基于计算机视觉的手势交互技术及其在航海中的应用[D];大连海事大学;2014年

3 贺文骅;基于计算机视觉的复杂场景下目标跟踪研究[D];西安电子科技大学;2015年

4 潘磊庆;基于计算机视觉和声学技术融合检测鸡蛋品质的研究[D];南京农业大学;2007年

5 孔明;颗粒粒径和形态计算机视觉测量方法研究[D];东南大学;2005年

6 刘钊;基于计算智能的计算机视觉及其应用研究[D];武汉科技大学;2011年

7 李庆中;苹果自动分级中计算机视觉信息快速获取与处理技术的研究[D];中国农业大学;2000年

8 谢存;计算机视觉中若干问题实现技术和算法的研究[D];大连理工大学;2002年

9 赵书涛;基于计算机视觉的直读仪表校验方法研究[D];华北电力大学（河北）;2006年

10 柴阿丽;基于计算机视觉和光谱分析技术的蔬菜叶部病害诊断研究[D];中国农业科学院;2011年

中国硕士学位论文全文数据库 前10条

1 王福香;基于计算机视觉的马铃薯外部缺陷检测方法研究[D];内蒙古农业大学;2015年

2 余饶东;基于脑波与计算机视觉的注意力检测技术在E-Learning中的应用研究[D];昆明理工大学;2015年

3 李想;基于计算机视觉的花卉分级系统研究[D];天津理工大学;2015年

4 吴林林;基于计算机视觉的皮革测配色研究[D];陕西科技大学;2015年

5 龙怡霖;基于计算机视觉的杂草种子鉴别[D];西北农林科技大学;2015年

6 谢艳鹏;面向细胞行为辨识的计算机视觉研究与应用[D];沈阳理工大学;2015年

7 丁侨俊;基于计算机视觉的智能停车场引导系统研究[D];福建师范大学;2015年

8 王鹏博;多态并行机上的OpenVX系统实现[D];西安邮电大学;2015年

9 周志强;基于计算机视觉的指针式电表校验的关键技术研究[D];南昌大学;2015年

10 陈玉洁;基于计算机视觉的外膜厚度测量方法的研究[D];南昌航空大学;2015年

，

本文编号：893259