基于卷积神经网络的非接触式视频心率测量方法研究

发布时间：2021-10-18 06:57

　　心率是一项反映人体生理和心理状况的重要生理信号,其包含了丰富的健康状况和情绪活动信息。对心率进行实时准确的测量在诸多领域有着广泛应用,例如疾病预防、训练辅助、健康监测和护理等。远程光电容积描记术（remote photoplethysmography,r PPG）是一种非接触式的心率测量技术,r PPG可从面部视频中直接提取心率信号,而无需佩戴接触式的传感器。随着长期健康监测需求的增长,这项技术凭借其易实现、成本低、非接触测量等优点,获得了研究人员的极大关注。然而,r PPG技术容易受到环境光变化和运动伪迹等因素的影响,使得测量出现偏差。近年来随着人工智能的飞速发展,深度学习相关技术在r PPG领域逐步得到应用,这些技术显示出了良好的抗噪性能。在本文中,提出了一种新的基于卷积神经网络（convolutional neural networks,CNN）的r PPG方法,以建立时空特征图像与其对应的心率数值之间的映射,主要实现流程如下:首先,定位视频中的人脸特征点并确定多个感兴趣区域。从每个感兴趣区域中提取视频片段的RGB通道信号。使用基于色差模型的算法进一步提取色差信号,并以时间延迟的... 

【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

光学反射模型示意图

合肥工业大学硕士研究生学位论文122.1.2基本框架基于视频的非接触式心率测量技术的目标是从视频信号中提取心率波形或心率值。到目前为止，绝大多数方法都遵循如图2.2所示的基本框架。Fig2.2Flowchartofbasicframeofvideo-basedheartratemeasurement基本步骤为：（1）使用摄像机在光源照射或自然光条件下，拍摄包含人体皮肤区域（主要是人脸区域或手部皮肤区域）的视频。（2）采用手动或自动算法来定位和跟踪视频中的感兴趣区域。（3）沿着时间方向，从感兴趣区域中计算单个或多个颜色通道的均值，得到原始的rPPG信号。（4）将信号处理相关算法（如带通滤波、盲源分离算法和基于色差模型的算法等）应用于原始rPPG信号，从而提取出心率信号。（5）通常采用峰值检测算法或使用快速傅里叶变换（FFT）来计算心率信号对应的心率数值。此框架适用于绝大多数实验条件控制良好的rPPG方法。研究人员根据所要解决的问题不同，相应地修改其中一个或多个步骤，来提升算法性能。由于这种通用框架步骤较多，因此每一步的处理都会对最终的测量精度造成较大的影响。近年来，随着深度学习技术的飞速发展，基于端到端的模型逐步被提出，从而避免中间因素的干扰，这些技术将在后面进行介绍。2.2传统的典型心率测量方法根据现有的rPPG方法在信号去噪算法和原理上的差别，这些方法主要可以分为两类：基于盲源分离算法（BSS）的方法及基于光学反射模型的方法。基于盲源分离算法的方法将心率信号与其他噪声信号视为混叠信号，利用信号之间的统计独立性或非相关性假设，将心率信号从混叠信号中分离出来，再进行心率估计。而图2.2基于视频的心率测量基本框架流程图

合肥工业大学硕士研究生学位论文16多的被用作前期预处理，从而降低网络学习的难度及成本。2.3新兴的基于深度学习的测量方法近年来，随着数据驱动的方法，尤其是基于深度学习技术的方法，被认为具有处理复杂数据的能力。并且在很多领域取得了十分巨大的成就，如图像分类，目标检测和自然语言处理等。因此，逐渐有研究人员将深度学习技术应用于视频心率测量任务中。Fig2.3ComparisonoftwomethodsbasedondeeplearningChen等人首先提出了一种端到端的系统，以建立从视频图像到脉动信号的导数之间的映射[51]。在他们提出的神经网络中，同时学习了一个软注意力掩码，从而提高测量的质量。随后，Niu等人提出了一种新颖的时空表示方法，使用来自面部多个感兴趣区域的RGB通道信号来构建时空特征图像，从而建立特征图像到心率数值的映射[52]。在论文[53]中，作者通过注意力机制进一步改善了工作，以增强rPPG信号的显著特征。在另一项研究中，Qiu等人提出了一个新的框架，通过使用卷积神经网络从时空过滤特征图中测量心率数值。为了增强输入信号的信噪比，使用欧拉视频放大（EVM）算法[54]放了了面部颜色的变化[56]。等人设计了一种使用两步神经网络的端到端的心率估计器[55]。该模型在三个公共数据集上进行了测试，并被证明优于最新的方法。与前面提出的基于深度学习的方法估计心率不同的是，Yu等人尝试使用一个端到端的网络直接从原始视频片段中提取rPPG信号。总体来说，现有的基于深度学习的rPPG方法大致可以分为两类：基于特征解码的方法和端到端的方法。如图2.3所示，基于特征解码的方法首先使用视频、图2.3两类基于深度学习的方法对比

【参考文献】：
期刊论文
[1]1990～2016年中国及省级行政区心血管病疾病负担报告[J]. 李镒冲,刘世炜,曾新颖,周脉耕.  中国循环杂志. 2019(08)



本文编号：3442440