基于多模态深度学习的疲劳驾驶检测

发布时间：2023-10-21 08:54

　　随着便携式生理信号采集设备、信号处理算法以及机器学习算法的发展,脑电信号和眼电信号已被成功地应用于疲劳驾驶检测。本文提出一种融合部分脑区脑电信号和前额眼电信号来进行疲劳驾驶检测的方法。我们设计并进行了疲劳驾驶的模拟实验,同时采集被试的脑电、眼电和眼动数据。本文对信号融合时不同脑区脑电信号的效果进行了研究,确定了疲劳驾驶检测时,信号融合的关键脑区。实验结果表明,颞叶区的六导脑电信号和前额眼电信号结合,能够最有效地学习出多模态的共享特征表达。进一步,本文提出了一种基于深度自编码器模型的多模态信息融合策略来学习多模态特征。我们针对22名不同被试,使用多模态算法模型和单模态的算法进行疲劳驾驶检测。本文提出的算法取得了良好的检测结果,预测疲劳状态与实际疲劳状态的相关系数为0.85,均方根差为0.09。实验结果表明,利用本文提出的多模态特征融合算法对脑电和眼电信号进行融合,能够学习到有效的多模态共享特征,并提升疲劳驾驶检测效果。

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
主要符号缩写对照表
第一章 绪论
    1.1 研究意义及目的
    1.2 国内外研究现状
        1.2.1 疲劳驾驶预测的研究
        1.2.2 脑电信号的研究
        1.2.3 眼电信号的研究
        1.2.4 疲劳状态标定的研究
        1.2.5 多模态信号融合的研究
    1.3 主要研究内容
    1.4 论文安排
    1.5 本章小结
第二章 脑电、眼电与疲劳检测相关背景
    2.1 脑电的相关背景介绍
        2.1.1 大脑的主要脑区及功能
        2.1.2 脑电的产生和特征
        2.1.3 脑电信号噪声的处理
    2.2 眼电的相关背景介绍
        2.2.1 眼电信号的产生和特征
        2.2.2 传统眼电与前额眼电
    2.3 疲劳状态标定的相关背景介绍
    2.4 本章小结
第三章 疲劳驾驶实验设计
    3.1 实验目的
    3.2 实验设备
    3.3 实验流程
    3.4 本章小结
第四章 特征提取及回归模型算法介绍
    4.1 单模态特征提取算法
        4.1.1 脑电信号特征提取
        4.1.2 眼电信号特征提取
    4.2 多模态特征融合算法
        4.2.1 受限布尔兹曼机
        4.2.2 利用深度自编码器提取多模态特征
    4.3 回归算法
    4.4 本章小结
第五章 实验结果分析及讨论
    5.1 深度自编码器的训练参数优化
    5.2 脑电与眼电特征融合关键脑区
    5.3 多模态疲劳驾驶检测效果
    5.4 本章小结
第六章 总结与展望
    6.1 本论文主要结论
    6.2 未来工作展望
参考文献
致谢
攻读学位期间发表的学术论文



本文编号：3855527