基于深度学习的交互式重度瘫痪病人情感分析研究

发布时间：2020-11-06 18:48

　　 瘫痪在世界各地都是一种常见的疾病,其中的重度瘫痪病人生活无法自理,给患者的心理、家庭和社会带来了沉重的负担。脑卒中、车祸、小儿脑性瘫痪、脊椎受伤等都会导致瘫痪。在重度瘫痪病人中存在着一种特殊的群体,即患者的四肢和躯干无法移动、存在语言障碍,但是患者的大脑意识清醒,可以做出头部和脸部动作。头部动作是指头部上下左右移动,脸部动作是指眨眼和张、闭嘴。根据山东某家医院患者患病的统计结果,该类患者在重度瘫痪群体中占的比例为10%左右。如果可以获取患者的真实意图,再通过康复机械装置就可以让患者具备一定的自理能力。本课题主要研究内容是通过视频分析患者的真实意图,并为此研发出相应的软件系统,其目的是使患者具备一定的自理能力,同时减轻患者家属的负担。在研究方法中有主动和被动两种方式来获得患者的真实意图。主动是指患者有意识地表达自己的意图。当患者处于非紧急情况时,患者意识清醒,根据患者头部和脸部可动的特点,让患者通过头部和脸部动作主动向系统发出需求指令,然后通过辅助装置满足自身的最基本需求(喝水、吃饭、服药等)。被动是指系统根据患者表情分析出患者的意图。当患者处于紧急情况时,患者可能无法自主发出指令,系统根据患者的面部表情变化判定患者的情感状态,然后根据患者的情感状态分析出患者的真实需求,并将分析出的结果反馈给患者。在一定的时间内,如果患者可以通过头部和脸部动作完成响应,则系统会进行相应的处理;如果患者没有响应,系统则会通知患者家属或医护人员。本文工作包括:(1)基于区域化的头部动作识别。系统利用Adaboost算法在患者头部图像中检测出患者的人脸,然后通过人脸中心位置的偏移方向进行头部动作识别。(2)基于等价局部二值模式(Uniform LBP)纹理特征的脸部动作识别。系统首先根据三庭五眼的规则在人脸图像中切割出患者的眼部和嘴部区域;然后计算眼睛和嘴部区域图像的Uniform LBP纹理特征图,并计算特征图的统计直方图;最后利用k近邻识别患者的脸部动作。(3)基于深度卷积神经网络的表情识别。系统首先通过样本预处理(倾斜校正和图像旋转)增加样本的数量;然后对样本图像进行归一化处理;最后通过深度学习中的卷积神经网络训练出患者的三个表情识别模型。系统在识别患者表情时,先利用表情模型对患者表情进行粗略分类,然后再对患者表情进行精确分类。本文主要贡献为:根据重度瘫痪病人的特点,提出了基于Uniform LBP纹理特征的脸部动作识别方法和基于由粗到精策略的表情识别方法。实验结果表明,系统能够准确地识别出人物目标的面部表情、头部和脸部动作。下一步会结合其他单位的研究内容,在相应的硬件系统中进行调试和完善。
【学位单位】：济南大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：R459.7;TP181
【部分图文】：

基于深度学习的交互式重度瘫痪病人情感分析研究此类患者的特点，济南大学和其他四家单位共同申报了山东省科技业）项目 基于脑机接口和多源数据反馈技术的康复服务机器人开015ZDXX0801A03）。整个项目分为五个部分：基于视频信息分析的，脑机接口信号采集及处理技术，基于脑机接口、图像等多源信息的统设计，康复服务机器人本体机构设计和可穿戴人体生理参数在线监开发技术路线如图 1.1 所示。

康复装置示意

装置的设计可以使系统获得患者清晰的面部图像，为接下来的工作减少了很多不必要的麻烦。康复装置示意图如图 1.2 所示。图 1.2 康复装置示意图. (a)可以满足患者起坐和躺卧需求; (b)可以满足患者左侧身需求; (c)可以满足患者右侧身需求在图 1.2 中可以看出，装置包含 A、B 两个云台摄像头、显示屏、电机、视频分析服务器、图像采集卡等。虽然患者四肢无法移动，但是患者躯干和四肢可能会出现异常，
【参考文献】

相关期刊论文 前10条

1 李祖贺;樊养余;;基于视觉的情感分析研究综述[J];计算机应用研究;2015年12期

2 穆静;陈芳;王长元;;人脸面部表情图像的隐马尔科夫建模及情感识别[J];西安工业大学学报;2015年09期

3 夏海英;徐鲁辉;;基于差分纹理的人脸表情识别[J];计算机应用研究;2015年11期

4 刘袁缘;陈靓影;俞侃;覃杰;陈超原;;基于树结构分层随机森林在非约束环境下的头部姿态估计[J];电子与信息学报;2015年03期

5 尹宝才;王文通;王立春;;深度学习研究综述[J];北京工业大学学报;2015年01期

6 胡进;侯增广;陈翼雄;张峰;王卫群;;下肢康复机器人及其交互控制方法[J];自动化学报;2014年11期

7 宇传华;崔芳芳;;全球疾病负担研究及其对我国的启示[J];公共卫生与预防医学;2014年02期

8 王大伟;周军;梅红岩;张素娥;;人脸表情识别综述[J];计算机工程与应用;2014年20期

9 唐云祁;孙哲南;谭铁牛;;头部姿势估计研究综述[J];模式识别与人工智能;2014年03期

10 杨启志;曹电锋;赵金海;;上肢康复机器人研究现状的分析[J];机器人;2013年05期

相关硕士学位论文 前1条

1 蒋明敏;基于情感计算的重度瘫痪患者人机需求交互研究[D];济南大学;2017年

本文编号：2873527