多模态人机接口及其残疾人辅助应用研究

发布时间：2021-11-17 20:07

　　人机接口（Human-machine interface,HMI）是一类帮助人们实现和机器之间“对话”的设备,或将人们的意图和想法转换成对机器设备的控制指令,或向人们提供机器设备的有关信息及提示请求等。对于一些特殊病人群体,比如高位截瘫患者、肌萎缩侧所综合征（“渐冻症”）患者和闭锁综合征患者等,由于这些病人往往存在着发音困难、肢体行动不便、大脑部分功能受损等问题,常见的人机接口如语音、体感、鼠标、键盘以及触摸屏等都不再适用。因此,面向这些残疾人开发新型人机接口辅助他们日常生活以及康复治疗具有重要的研究意义与实用价值。除了上述需要肢体动作显著参与的传统人机接口外,另一类人机接口则尝试利用人体轻微神经肌肉活动所自发生成的生理信号来实现人与外界的交流与控制。利用人体产生的各种信号模态如头皮脑电（Electroencephalogram,EEG）、眼电（Electrooculogram,EOG）以及残余肢体动作产生的肌电（Electromyograph,EMG）来构建人机接口,不仅能够帮助患者一定程度上实现与外界的交流和完成一些控制任务,辅助患者提高生活自理能力,减轻家属和护理人员的负担,还可... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：124 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 课题的研究意义
        1.1.1 人机接口的研究背景
        1.1.2 人机接口的应用前景
    1.2 基于不同生理信号模态的人机接口
        1.2.1 基于EEG信号的脑机接口
        1.2.2 基于眼部动作的人机接口
        1.2.3 基于有限肢体动作的人机接口
        1.2.4 混合人机接口
    1.3 问题与挑战
        1.3.1 面向残疾人辅助康复应用的挑战
        1.3.2 基于不同信号模态的人机接口面临的问题
    1.4 本文主要研究内容及章节安排
第二章 基于EOG的人机接口及其在残疾人轮椅控制的应用
    2.1 引言
    2.2 基于EOG的人机接口实现方法
        2.2.1 眼电数据采集系统
        2.2.2 图形用户界面和控制策略
        2.2.3 基于有序视觉提示的眨眼识别算法
        2.2.4 阈值校准
    2.3 实验和结果
        2.3.1 健康被试
        2.3.2 脊髓损伤患者被试
    2.4 分析与讨论
        2.4.1 目标按钮识别
        2.4.2 消除无意识眼动干扰
        2.4.3 设计细节的考虑
        2.4.4 性能比较
        2.4.5 性能局限
    2.5 本章小结
第三章 基于EOG和机器视觉的轮椅-机械臂协同控制系统
    3.1 引言
    3.2 系统构造与实现方法
        3.2.1 轮椅-机械臂系统构成
        3.2.2 EOG人机接口的图形交互界面
        3.2.3 多眼动检测分析算法
        3.2.4 轮椅控制
        3.2.5 机械臂协同控制
    3.3 实验和结果
        3.3.1 实验一:EOG人机接口性能测试
        3.3.2 实验二:移动喝水任务
        3.3.3 实验三:多眼动分类效果测试
    3.4 分析与讨论
        3.4.1 控制精度分析
        3.4.2 无意识眼动干扰概率估计
        3.4.3 抬眉验证
        3.4.4 指标对比
        3.4.5 缺陷与不足
    3.5 本章小结
第四章 一种基于EEG/EOG的混合脑机接口及其应用
    4.1 引言
    4.2 基于EEG/EOG的混合脑机接口
        4.2.1 数据采集
        4.2.2 EEG信号处理
        4.2.3 EOG信号处理
        4.2.4 利用EOG提升EEG模型稳定性
    4.3 混合脑机接口应用于多设备集成系统控制
    4.4 实验与结果
        4.4.1 实验一:运动想象训练
        4.4.2 实验二:眼动训练实验
        4.4.3 实验三:使用混合脑机接口完成移动喝水任务
    4.5 讨论
        4.5.1 主要挑战
        4.5.2 缺陷和不足
    4.6 本章小结
第五章 面向闭锁综合征患者的生活辅助人机接口
    5.1 引言
    5.2 闭锁综合征患者基本病情
        5.2.1 患者就诊历史以及病情发展
        5.2.2 对患者进行EEG、EOG以及肌力测评
    5.3 基于有限手指动作的视听觉人机接口
        5.3.1 系统总体构成
        5.3.2 视听觉提示模块
        5.3.3 手指动作检测模块
        5.3.4 数据通信与连接
    5.4 实验与结果
        5.4.1 实验一:不同提示间隔下的准确率测试
        5.4.2 实验二:视听觉对比
        5.4.3 实验三:字符输入测试
        5.4.4 实验四:问答测试
        5.4.5 后期康复效果
    5.5 分析和讨论
    5.6 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
攻读博士学位期间取得的研究成果
致谢
附件


【参考文献】：
期刊论文
[1]中国残联发布我国最新残疾人口数据[J]. 赵燕潮.  残疾人研究. 2012(01)
[2]针刺不同经穴对正常人事件相关电位P3a和P3b的影响[J]. 蔡荣林,胡玲,吴子建,汪克明,何璐,周逸平,赵仑,胡吴斌.  中西医结合学报. 2012(01)
[3]脑电Gamma共振信号在精神疾病中的研究应用[J]. 王继军,张明岛.  上海精神医学. 2005(04)



本文编号：3501572