基于脑电与眼动的多通道交互控制技术研究

发布时间：2020-10-08 18:11

　　 近年来随着人工智能技术的快速发展,包括脑机接口技术和眼动追踪技术在内的新型人机交互技术对于大众来说已经变得不再陌生。科技的快速发展也为智能化人机交互技术带来了新的生命力。从最初的仅在医疗、科研领域的应用到后来军方的应用再到最近的民用,脑机接口技术、眼动追踪技术越来越深入人们生活的方方面面。本文首先在概念上介绍了脑电的TGAM开发套件,包括TGAM的硬件情况、其内置ASIC芯片的技术特性以及TGAM识别处理的一般步骤和其所处理的数据类型等并就本文眼动控制系统所使用的眼动仪的硬件和软件概况进行相关的介绍。最后就无人平台进行简要介绍,在本文由于使用的无人平台核心是Arduino开发平台,所以介绍的重点主要放在Arduino开发平台的介绍上面,主要包括Arduino开发板的硬件特性和Arduino IDE软件开发环境。基于脑电的无人平台运动控制系统包含了四个模块之间的关系。内容主要包括基于TGAM脑电识别模块在脑电数据的采集、识别并通过esense算法进行一系列的解析和数据处理进行对应的介绍,并就neurosky的TGAM模块的通信协议及相关通信模块进行深入研究,了解蓝牙串口连接及接收数据流的实际应用方法,并最终在Arduino端通过esense算法提取关注度参数来对PWM进行调节从而实现对于小型地面无人平台的基本运动控制。基于眼动的无人平台运动控制系统包含了眼动信息采集提取模块、眼动信息意图判断模块、通信模块和Arduino控制模块四个模块。其中重点介绍了眼动信息坐标点提取和眼动信息意图判断的具体实现。眼动信息注视点坐标的提取需要通过调用SDK软件开发工具包中的iViewNG API来对接口函数进行使用并完成信息交互。眼动信息意图判断的实现则依靠对基于位置信息(前后左右)的相关控制语义进行定义,最后在Arduino下对控制端相应的控制信号进行定义(控制信号参数需要与意图判断模块中定义的控制语义参数对应)并实现了对于小型地面无人平台的基本运动控制。最后,在前文基于脑电的运动控制系统和基于眼动的运动控制系统研究基础上进行两系统协同控制(一人多机)的实验验证。内容就多任务处理中并行处理与多串行处理的机制进行对比并基于相关的串行处理、并行处理模式设置了四个实验,每个实验的样本容量为30。实验的主要目的是通过对脑电控制系统与眼动控制系统在双任务处理下各自的响应时间进行统计并得出相应的响应时间差,分析验证相关的串行处理、并行处理模型并得出不同控制场景下如何对串行处理、并行处理模式进行选择会实现更加稳定高效控制的初步结论。
【学位单位】：南京大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：R318;TP18
【部分图文】：

将首先介绍脑电信号及相关处理理论的基础概念，包括ＴＧＡＭ脑电波类型、ＴＧＡＭ识别和处理的一般步骤；在此基础上对ＴＩＣ芯片技术特性包括处理得出的各类数据类型等进行一个详介绍ＴＧＡＭ脑电开发套件设备的概述，并介绍ＴＧＡＭ开发套主要面向的应用，本章的最后将重点介绍本文所选用的小型地工作原理及功能。逡逑电信号及相关处理理论的基础概念逡逑ＡＭ开发套件概述逡逑Ｍ开发套件主要包含ＴＧＡＭ模块、蓝牙通信模块、电源和前极共３个采集电极。这样将其连接起来就组成了一个简易的脑整个系统的连接图如图２．１所示：逡逑．邋°ｉｉａｉｍｉｉＪｉ．．逡逑

生物电现象是生命活动的基本特征之一，当人类在进行大脑思维活动时产生逡逑的生物电信号被称为脑电波。而我们大脑产生的脑电波并非毫无规律的，而是由逡逑一连串不同频率下的脑电信号构成的，如下图２．３所示。脑电信号的通常频率波逡逑动范围为０．１－５０ｈｚ之间，不同频率波段的脑电波可分为Ｄｅｌｔａ波、Ｔｈｅｔａ波、Ａｌｐｈａ逡逑波、Ｂｅｔａ波、Ｇａｍｍａ波等不同类型的脑电波［１９］。逡逑图２．３各频段脑电波逡逑而基于ＴＧＡＭ的脑电模块由能够应用特定的脑电算法对不同频段的脑电波逡逑进行提取，最终能够实现对于Ｄｅｌｔａ（０．５－２．７５ｈｚ）、Ｔｈｅｔａ（３．５－６．７５）、逡逑ｉｉ逡逑

Ｓｂ逡逑ｎＢｃｎｏ逡逑图２．２邋ＴＧＡＭ模块逡逑２．１．２脑电波类型逡逑生物电现象是生命活动的基本特征之一，当人类在进行大脑思维活动时产生逡逑的生物电信号被称为脑电波。而我们大脑产生的脑电波并非毫无规律的，而是由逡逑一连串不同频率下的脑电信号构成的，如下图２．３所示。脑电信号的通常频率波逡逑动范围为０．１－５０ｈｚ之间，不同频率波段的脑电波可分为Ｄｅｌｔａ波、Ｔｈｅｔａ波、Ａｌｐｈａ逡逑波、Ｂｅｔａ波、Ｇａｍｍａ波等不同类型的脑电波［１９］。逡逑图２．３各频段脑电波逡逑而基于ＴＧＡＭ的脑电模块由能够应用特定的脑电算法对不同频段的脑电波逡逑进行提取，最终能够实现对于Ｄｅｌｔａ（０．５－２．７５ｈｚ）、Ｔｈｅｔａ（３．５－６．７５）、逡逑ｉｉ逡逑

【相似文献】

相关期刊论文 前10条

1 谢和平;彭霁;周宗奎;;注意引导和认知加工:眼动榜样样例的教学作用[J];心理科学进展;年期

2 张阳;李艾苏;张少杰;张明;;微眼动的识别技术[J];心理科学进展;2017年01期

3 杨子京;李卓;王爱平;;结果呈现对决策过程影响的眼动模式[J];心理学探新;2017年04期

4 梁菲菲;王永胜;杨文;白学军;;阅读水平调节儿童阅读眼动注视模式的发展:基于9～11岁儿童的证据[J];心理学报;2017年04期

5 杨勇涛;于淋;孙延林;;静止眼动和动作表现关系的心理学机制[J];天津体育学院学报;2016年03期

6 陈勇;段肖玲;刘晓翠;;36例精神分裂症患者眼动分析仪临床研究[J];中国民康医学;2015年08期

7 黄涛;赵立影;;眼动技术在多媒体学习中的应用[J];中国教育信息化;2015年06期

8 靳慧斌;陈健;刘文辉;宋祥波;洪远;;眼动指标在实时测量心理负荷中的应用进展[J];科学技术与工程;2015年30期

9 郑茗;李进;;师范院校应届毕业生应聘简历的眼动研究[J];科学中国人;2017年05期

10 王广义;;的哥“四眼”王歌[J];广西文学;2017年10期

相关会议论文 前10条

1 周清杰;;眼动追踪技术在决策研究中的应用[A];第十七届全国心理学学术会议论文摘要集[C];2014年

2 陶云;白学军;阎国利;;小学生插图课文的眼动实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年

3 贺荟中;方俊明;;聋生与听力正常学生在背景知识参与下建立文本整体连贯的眼动比较[A];第十届全国心理学学术大会论文摘要集[C];2005年

4 王博韬;李晶晶;程丽芳;胡卫平;;大脑半球互动水平对创造性科学问题提出能力的影响:来自利手、眼动刺激的证据[A];第十七届全国心理学学术会议论文摘要集[C];2014年

5 沈德立;陶云;;不同文体课文阅读过程的眼动实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年

6 林彩云;陈顺森;;自闭症谱系障碍儿童平滑追踪眼动特点研究[A];第十八届全国心理学学术会议摘要集——心理学与社会发展[C];2015年

7 沈德立;白学军;徐富明;;大中学生阅读元理解监控的眼动特征研究[A];第十届全国心理学学术大会论文摘要集[C];2005年

8 崔磊;王穗苹;;重复阅读中文章主题转换效应的眼动分析[A];第十届全国心理学学术大会论文摘要集[C];2005年

9 戴斌荣;阴国恩;阎国利;;儿童青少年分类活动的影响因素及眼动特征的研究[A];第十届全国心理学学术大会论文摘要集[C];2005年

10 王娜;任衍具;;真实场景搜索中的眼动返回抑制:语义信息的作用[A];第十七届全国心理学学术会议论文摘要集[C];2014年

相关重要报纸文章 前10条

1 中国青年报·中青在线记者 孙震 实习生 谷君峰;80.9%受访者承诺在春游时“动眼动口不动手”[N];中国青年报;2016年

2 张宝敏;眼动，把握阅读的规律[N];中国教育报;2001年

3 苑广阔;春游“动眼动口不动手”[N];中国旅游报;2016年

4 本报记者 明海英;眼动轨迹揭示心灵奥秘[N];中国社会科学报;2016年

5 Ellen I. Carni（美）著 李巧艺 译;眼动与记忆[N];音乐周报;2003年

6 记者 常丽君;手机能随你目光懂你心思[N];科技日报;2016年

7 本版编辑邋PreTesting公司创建者和CEO Lee Weinblatt 董艳平 桔梗;眼睛不说谎[N];医药经济报;2007年

8 《环球科学》杂志社;2015年十大创新技术[N];光明日报;2015年

9 通讯员 文浩;飞行人员体检可轻松完成[N];中国民航报;2009年

10 实习生 安路蒙;睡个好觉，真的很难吗？[N];科技日报;2013年

相关博士学位论文 前10条

1 隋雪;学习困难生阅读过程的眼动特征[D];辽宁师范大学;2004年

2 徐艺;面向路段交通冲突辨识的驾驶人眼动特征研究[D];吉林大学;2016年

3 林敏;基于眼动信息的人机交互关键技术研究[D];上海大学;2014年

4 高迪;面向视觉计算的动态眼动跟踪技术研究[D];哈尔滨工程大学;2015年

5 李浩;基于眼动特征的小屏幕设备网页内容适配研究[D];华中师范大学;2013年

6 童剑亮;双相视觉脉冲反应与Optokinetic Nystagmus（OKN）眼动[D];中国科学院研究生院（上海生命科学研究院）;2003年

7 张祖涛;基于采样强跟踪非线性滤波理论的驾驶员眼动跟踪技术研究[D];西南交通大学;2010年

8 孟春宁;人眼检测与跟踪的方法及应用研究[D];南开大学;2013年

9 卢万媈;基于眼动跟踪的网络搜索行为分析与预测[D];北京理工大学;2015年

10 高裴裴;人眼驱动语音合成的若干关键技术研究[D];南开大学;2012年

相关硕士学位论文 前10条

1 徐晓天;基于脑电与眼动的多通道交互控制技术研究[D];南京大学;2018年

2 刘媛媛;机场X光机操作员视觉搜索绩效研究[D];中国民航大学;2017年

3 刘文辉;基于眼动分析的塔台管制情境意识测量指标研究[D];中国民航大学;2017年

4 高君;基于眼动信息的电动汽车导航系统人机交互研究[D];东南大学;2017年

5 陈健;模拟管制中的眼动数据处理算法及应用研究[D];中国民航大学;2017年

6 姜辰颖;汉族与维吾尔族高中生图形推理眼动特征的比较研究[D];新疆师范大学;2017年

7 邓艳丽;基于视觉的眼动特征研究[D];北京交通大学;2017年

8 张新运;虚拟视频眼动分析设计[D];西安工业大学;2017年

9 蔡佳琪;基于眼动交互的远程控制系统的设计与实现[D];南京大学;2017年

10 严荣慧;基于眼动特征的轨道交通驾驶员驾驶疲劳检测研究[D];苏州大学;2017年

本文编号：2832582