基于深度学习的场景分析和行为分类的家居内摔倒识别

发布时间：2020-07-02 01:44

【摘要】：人体摔倒行为的智能检测是一项非常重要的研究课题,尤其是对于独居的老人或者医院里的病人等易受伤害人群的救助有着很重要的辅助作用。在过去的十几年,大量基于计算机视觉技术的摔倒检测方法被提出来解决上述的问题。然而,现存的基于计算机视觉的摔倒检测方法存在以下问题:(1)现存用于摔倒检测的特征仅仅去关注人本身,而缺少了对场景的分析。因此,现存的方法对于一些类摔倒和特殊摔倒行为很难区分,容易产生误检和错检。(2)现存的方法大都是对摔倒和非摔倒两种行为的二分类问题进行研究,没有对摔倒进行进一步的行为分类,因此无法对摔倒行为进行识别。(3)现存的基于传统卷积神经网络的模型存在模型复杂、参数量大和难以训练的问题,导致网络训练出的模型所占空间存储大和计算效率低。针对现存方法缺少对场景特征分析的问题,本文提出了一种基于场景分析的摔倒行为特征提取算法。该方法首先采用目标检测框架Faster R-CNN对家居环境内的场景目标进行检测,包括人体、沙发和椅子等家居环境下的目标进行检测。为了克服视频中目标检测可能的出现的漏检或遮挡情况,基于前一帧所检测的目标位置提出场景预测算法对漏检的目标进行预测。在检测跟踪的同时,人体和场景目标的关系、人体的运动速度、人体的形态比及其变化率、人体中心高度及其变化率等特征被检测跟踪。针对现存方法没有对摔倒进行进一步的识别的问题,本文提出了一种基于高斯混合模型的摔倒识别自动判定引擎算法。该算法通过行为聚类将各个行为特征拟合为不同的高斯分布,能够有效地确定各个摔倒行为特征的行为聚类中心点,从而精确地区分各种摔倒和其他日常行为。针对传统CNN模型存在模型复杂、参数量大和难以训练的问题,本文提出了一种基于运动特征和轻量型网络的双流摔倒分类模型。一个通道流为人体的运动特征用于对摔倒的预判,另一个通道流为改进的轻量型VGG网络(简称MobileVGG)网络用于摔倒分类。该模型结合运动特征设计了一种轻量型网络MobileVGG的双流模型用于分类摔倒,模型主要构建了点卷积-深度卷积-点卷积组合的方式代替传统卷积,实现了网络的轻量化。同时引入层间的残差连接,克服深层模型的浅层参数梯度消失和梯度回流受阻的情况。网络也对传统的池化层和全连接层进行了优化。本文对以上提出的方法进行了充分的实验。实验结果表明,本文所提出的基于场景分析的特征提取算法能够很好地表征场景特征和行为特征,尤其是能够识别一些现存方法无法识别特殊摔倒和类摔倒行为。结合场景分析,所提出的摔倒识别自动判定引擎算法能够有效地区分包括行走、坐在沙发上、坐在椅子上、摔倒在地上和摔倒在沙发上等摔倒行为和日常行为。此外,所提出的双流摔倒分类模型在保持分类精度的前提下实现了模型的轻量化,削减了网络训练的模型所占内存并提高了摔倒分类的效率。
【学位授予单位】：南昌大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

场景分析,总体框架,人体,场景

摔倒行为是指突发、不自主的、非故意的体位变化，倒在地上或者更低的平面上。现存的方法都是基于人体的轮廓、剪影、关键点或者运动等特征来检测摔倒，这些摔倒检测的局部或者整体特征仅仅去关注人本身，而缺少了对场景的分析。在相对复杂的场景下，尤其是对于一些特殊摔倒行为（摔倒在沙发上、摔倒在椅子上等）和类摔倒行为（躺在沙发上、躺在椅子上等）表现出很差的鲁棒性和可靠性，容易产生误检和错检。本节提出的摔倒行为特征提取对场景特征进行了提取。该方法首先采用基于目标检测框架 Faster R-CNN 对家居环境内的场景目标进行检测，包括人体、沙发、椅子等家居环境下的目标进行检测。为了克服视频中目标检测可能的出现的漏检情况，基于前一帧所检测的目标位置采用CamShift 算法对漏检的目标进行跟踪。在视频目标的检测跟踪的同时，人体和场景目标的关系、人体的运动速度、人体的形态比及其变化率、人体中心高度及其变化率等特征被检测跟踪。我们所提出的基于场景分析的摔倒行为特征提取方法的流程框架如图 2.1 所示。

框架图,场景,框架,锚点

目标检测算法 Faster R-CNN 被用在本文中的场景检测中。该框架主要由三部分组成，第一部分是基于 VGG 预训练模型的特征提取，该网络由 13 个卷积层、3 个全连接层和 4 个最大池化层组成。第二部分是基于区域生成网络的候选框生成，该算法在特征图上对每个特征点生成 9 个锚点（三种尺寸和三种比例），然后通过区域生成网络对所有锚点进行目标和背景分类并回归出目标区域的坐标。第三部分主要是对目标区域进行识别和定位，感兴趣区域池化也被用在该算法中整合目标特征的维度。对于区域生成网络，在最后一层卷积层生成的特征图上，用一个 n*n 的滑动窗口（设置 n=3，即是 3*3 的滑动窗）生成一个等长的 512维特征，然后使用一个两分支的全连接层进行进一步处理。第一个分支是回归层，被用来预测相关锚点的坐标，包括一个坐标位置 x，y 和宽高 w，h。第二个分支是分类层，被用来确定锚点候选区域是背景还是前景。在网络训练中，我们沿用了文献[76]中的损失函数，如下： ( ) = ∑ ( ) ∑ ( )(2.1) i 表示批处理中锚点的索引。

【相似文献】