面向家庭环境的人体行为分析方法研究及软件开发
发布时间：2022-01-01 09:25
中国正逐渐进入老龄化社会,老年人随着年龄的增大会出现四肢行动不便、独立生活能力差等问题,非常需要社会给予特殊的看护。因此,研究和开发可以为老人提供服务的智能看护系统具有重要的现实意义。本论文主要针对日常生活场景,研究面向家庭环境的人体行为分析方法并开发相关软件,具有良好的实际应用价值。论文的主要工作如下:（1）针对视频帧之间冗余度高的问题,设计了一种基于聚类的视频关键帧提取方法。首先将视频分解为单帧的形式,然后提取视频每一帧的特征,接着使用特征对视频所有帧进行聚类分析,最后从聚类簇中选取部分帧作为关键帧。使用关键帧代替视频进行后续处理,能够显著降低计算复杂度。（2）设计了一种基于视频序列的骨架行为识别方法。首先对视频中的人进行姿态估计,然后根据姿态估计的结果生成骨架时空序列图,最后使用图卷积神经网络对骨架时空序列图进行行为识别。不同于现有的离线姿态估计加在线骨架序列识别的行为识别方法,该方法能够端到端对人体姿态和人体行为进行学习。虽然所设计的基于视频序列的骨架行为识别方法可以直接对视频序列中人体行为进行预测,但是姿态估计本身存在的误差间接对行为识别的精度产生影响。为了弥补姿态估计产生的...
【文章来源】：浙江工业大学浙江省
【文章页数】：71 页
【学位级别】：硕士
【部分图文】：
图２－２异或问题示意图??Ｆｉｇｕｒｅ?２－２．?ＸＯＲ?ｐｒｏｂｌｅｍ??因此为了使神经网络能够深度化且能处理非线性问题，可以将神经元计算值??输入非线性函数中，将非线性函数的输出值作为神经元真正的输出值
面向家庭环境的人体行为分析方法研究及软件开发??的予集，如图２－４所示为５?ｘ?５输入特征图与３?ｘ?３的卷积核进行卷积操作。??Ｍ??／—ｒ—ｒ＿＼ｒ—／Ｖ－／—／??／?／?／?Ｖ?／?＼?／?／??遍’??／／／／／／／??ｙ＿?＿?ｙ＿?＿?ｙ??图２－４卷积操作示意图??Ｆｉｇｕｒｅ?２－４．?２Ｄ?ｃｏｎｖｏｌｕｔｉｏｎ??均，／）＝进［４?（５０？?＋?Ｘ，?ｓ０ｊ?＋?ｙ）ｗｌ＋１（ｘ，?ｖ）］?＋?ｂ?（２－２）??ｋ＝ｌ?ｘ—＼?ｙ＝ｌ??如式（２－２）卷积神经网络前向传播时，将子集中的元素与卷积核的元素点乘并??求和作为＿前节点的输出。其中Ｚ和Ｚ—为／＋１卷积层的输入特征与输出特征，??Ｚ（ｉ＋ｊ）表示特征图对应位置像素值，尤为通道数爆／为卷积核大小，ｗ为卷积步长。??池化艮是卷积神经网络中．另一个重粟的网络层＊与卷积层不同，池化层可以将??卷积层输出特征图中多种特征进行选择过滤，此外池化层还能够降低特征图维度，??降低计算复杂度。池化操作时也需将特征图以节点为中心划分成一定大小的多个??子集，常见的池化层类型有平均池化和最大值池化两种：平均池化层对子集中所有??的节点取平均值作为输出，相最于对输入特征和取值为ｌ／（（ｘ幻卷积核进行卷积操??作，其中々为卷积核大小；最大值池化层取乎集中最大值作为输出。??卷积神经网络在图像领域有着广泛的应用，但对乎视频数据，传统的卷积神经??网络在处理时需要将视颏分割为多个帧，再对视频中每一帧进行卷积运算。这种操??作的缺点是只利用了视频的空间信息，而无法利用视频的时间信息。因此为了使卷??积神经网络能够有效利用视频的时间和耷间两个不同维度的信扈，通常的做法是
?浙江工业太学硕士学位论文???支中＊原始共享特征通过一定数量的３Ｄ卷积神经网络进一步提取其高层特征９最??后将骨架分支得到的特征与视频分支得到的特征融合后通过全连接神经网络得到??分类结果６??２．４行为识别数据集选择??基于视频序列的行为识别的数据集主要有：ＵＣＦ１０１［３，ｎＨＭＤＢ［３６］等，基于骨??架的行为识别数据有Ｋｉｎｅｔｉｃｓ、ＮＴＵ等，造成二者不同的原因是大多数基于视频序??列行为识别数据集没有人工标注的人体骨架数据。本论文最终使用ＮＴＵ数振集对??行为识别网络进行训练和验证。??ＮＴＵ数据集是由新加坡南洋理工大学推出的行为识别数据集，包含６０个行为??类别共５６８８０个样本。ＮＴＵ数据集将６０个行为类别分为３个主要类别：４０个日??常操作如读书、１１个交互操作如拥抱和９个与健康有关的操作如打喷嚏等、，每个??类别都有９４８个样本，样本分布均衡。图２－６所示为ＮＴＵｔＷ数据集中部分视频淨??列示意．图。??■；ｎ?ｍｉ?？?■??－Ｕ??图２－６?ＮＴＵ数据集示意图??Ｆｉｇｕｒｅ?２－６．?ＮＴＵ?ｄａｔａｓｅｔ?ｄｉａｇｒａｍ??除彩色视频序列外，ＮＴＵ数据集还提供了与彩色视频序列对应的深度视频序??列和红外视频序列。图２－７所示为ＮＴＵ％数据集中深度视频序列及其对应的骨架??图，图２－８所示为ＮＴＵ％１数据集中红外视频序列及其对应的骨架图。??１４??
【参考文献】：
期刊论文
[1]浅析家庭型服务机器人的发展前景[J]. 袁政华,夏雪. 信息记录材料. 2019(07)
[2]视频行为识别综述[J]. 罗会兰,王婵娟,卢飞. 通信学报. 2018(06)
[3]居家养老智能服务机器人的设计发展研究[J]. 韦佳. 中国管理信息化. 2018(02)
[4]城市空巢老人养老需求分析及对策研究——以大连地区调研为例[J]. 李东阳. 现代经济信息. 2016(15)
[5]发展服务机器人,助力智能社会发展[J]. 陶永. 科技导报. 2015(23)
[6]城市空巢老人生活质量研究[J]. 李建新,李嘉羽. 人口学刊. 2012(03)
[7]中国人口老龄化百年发展趋势[J]. 杜鹏,翟振武,陈卫. 人口研究. 2005(06)
本文编号：3562086
【文章来源】：浙江工业大学浙江省
【文章页数】：71 页
【学位级别】：硕士
【部分图文】：
图２－２异或问题示意图??Ｆｉｇｕｒｅ?２－２．?ＸＯＲ?ｐｒｏｂｌｅｍ??因此为了使神经网络能够深度化且能处理非线性问题，可以将神经元计算值??输入非线性函数中，将非线性函数的输出值作为神经元真正的输出值
面向家庭环境的人体行为分析方法研究及软件开发??的予集，如图２－４所示为５?ｘ?５输入特征图与３?ｘ?３的卷积核进行卷积操作。??Ｍ??／—ｒ—ｒ＿＼ｒ—／Ｖ－／—／??／?／?／?Ｖ?／?＼?／?／??遍’??／／／／／／／??ｙ＿?＿?ｙ＿?＿?ｙ??图２－４卷积操作示意图??Ｆｉｇｕｒｅ?２－４．?２Ｄ?ｃｏｎｖｏｌｕｔｉｏｎ??均，／）＝进［４?（５０？?＋?Ｘ，?ｓ０ｊ?＋?ｙ）ｗｌ＋１（ｘ，?ｖ）］?＋?ｂ?（２－２）??ｋ＝ｌ?ｘ—＼?ｙ＝ｌ??如式（２－２）卷积神经网络前向传播时，将子集中的元素与卷积核的元素点乘并??求和作为＿前节点的输出。其中Ｚ和Ｚ—为／＋１卷积层的输入特征与输出特征，??Ｚ（ｉ＋ｊ）表示特征图对应位置像素值，尤为通道数爆／为卷积核大小，ｗ为卷积步长。??池化艮是卷积神经网络中．另一个重粟的网络层＊与卷积层不同，池化层可以将??卷积层输出特征图中多种特征进行选择过滤，此外池化层还能够降低特征图维度，??降低计算复杂度。池化操作时也需将特征图以节点为中心划分成一定大小的多个??子集，常见的池化层类型有平均池化和最大值池化两种：平均池化层对子集中所有??的节点取平均值作为输出，相最于对输入特征和取值为ｌ／（（ｘ幻卷积核进行卷积操??作，其中々为卷积核大小；最大值池化层取乎集中最大值作为输出。??卷积神经网络在图像领域有着广泛的应用，但对乎视频数据，传统的卷积神经??网络在处理时需要将视颏分割为多个帧，再对视频中每一帧进行卷积运算。这种操??作的缺点是只利用了视频的空间信息，而无法利用视频的时间信息。因此为了使卷??积神经网络能够有效利用视频的时间和耷间两个不同维度的信扈，通常的做法是
?浙江工业太学硕士学位论文???支中＊原始共享特征通过一定数量的３Ｄ卷积神经网络进一步提取其高层特征９最??后将骨架分支得到的特征与视频分支得到的特征融合后通过全连接神经网络得到??分类结果６??２．４行为识别数据集选择??基于视频序列的行为识别的数据集主要有：ＵＣＦ１０１［３，ｎＨＭＤＢ［３６］等，基于骨??架的行为识别数据有Ｋｉｎｅｔｉｃｓ、ＮＴＵ等，造成二者不同的原因是大多数基于视频序??列行为识别数据集没有人工标注的人体骨架数据。本论文最终使用ＮＴＵ数振集对??行为识别网络进行训练和验证。??ＮＴＵ数据集是由新加坡南洋理工大学推出的行为识别数据集，包含６０个行为??类别共５６８８０个样本。ＮＴＵ数据集将６０个行为类别分为３个主要类别：４０个日??常操作如读书、１１个交互操作如拥抱和９个与健康有关的操作如打喷嚏等、，每个??类别都有９４８个样本，样本分布均衡。图２－６所示为ＮＴＵｔＷ数据集中部分视频淨??列示意．图。??■；ｎ?ｍｉ?？?■??－Ｕ??图２－６?ＮＴＵ数据集示意图??Ｆｉｇｕｒｅ?２－６．?ＮＴＵ?ｄａｔａｓｅｔ?ｄｉａｇｒａｍ??除彩色视频序列外，ＮＴＵ数据集还提供了与彩色视频序列对应的深度视频序??列和红外视频序列。图２－７所示为ＮＴＵ％数据集中深度视频序列及其对应的骨架??图，图２－８所示为ＮＴＵ％１数据集中红外视频序列及其对应的骨架图。??１４??
【参考文献】：
期刊论文
[1]浅析家庭型服务机器人的发展前景[J]. 袁政华,夏雪. 信息记录材料. 2019(07)
[2]视频行为识别综述[J]. 罗会兰,王婵娟,卢飞. 通信学报. 2018(06)
[3]居家养老智能服务机器人的设计发展研究[J]. 韦佳. 中国管理信息化. 2018(02)
[4]城市空巢老人养老需求分析及对策研究——以大连地区调研为例[J]. 李东阳. 现代经济信息. 2016(15)
[5]发展服务机器人,助力智能社会发展[J]. 陶永. 科技导报. 2015(23)
[6]城市空巢老人生活质量研究[J]. 李建新,李嘉羽. 人口学刊. 2012(03)
[7]中国人口老龄化百年发展趋势[J]. 杜鹏,翟振武,陈卫. 人口研究. 2005(06)
本文编号：3562086
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3562086.html
