基于深度学习的着装表演机器人研究及设计
发布时间：2021-09-11 12:06
近些年,随着深度学习在诸多领域取得成功,机器人的研究工作者试图将深度学习与机器人研究相结合,赋予机器人更多感知和分析能力,使得更多的机器人走出实验室、走出工厂,走进人们的日常生活。其中表演机器人能够“自主”表演并与人互动从而服务于人,而其服务质量的好坏很大程度上取决于3D骨骼驱动序列的优劣。现有的3D骨骼序列获取主要依赖3D人体动作捕捉设备或动作设计师的设计,这些获取方式成本高、代价大,使得智能表演机器人研究成果落地相对困难。此外,现有的表演机器人研究工作大多忽视了服装对表演效果的影响。针对以上这些问题,本文基于深度学习的方法,对表演机器人的着装类别和3D骨骼序列获取方式进行了研究及设计。本文的研究工作分为以下三个部分:（1）表演机器人的服装检测与分类:该部分主要对场景中的演示者着装进行检测分类,让机器人根据检测结果选择相应服装类型,并对场景中的演示者进行目标跟踪,有助于后续人体姿态估计研究。首先本文针对服装检测任务做了一个数据集,然后根据应用场景和数据集特点对目标检测网络YOLO v3进行了改进,包括改变多尺度、引入下采样以及剪枝等操作,改进后的网络在本文任务中具有更好的表现效果。（...
【文章来源】：东华大学上海市 211工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
系统需求愿景展示
基于深度学习的着装表演机器人研究及设计14想，再将YOLO输出层的全连接层换成了卷积层，最后使用了新颖的多尺度训练方法，得到了改进后的新版本YOLOv2，实验结果表明上述改进提高了模型的精度和速度。尽管YOLOv2在YOLO基础上效果得到很大提升，但是在小目标检测任务中表现效果欠佳，为了更好的检测小目标，Joe等人在YOLO和YOLOv2的基础上再次进行改进，得到了在目标检测领域无论速度还是精度都十分具有竞争力的YOLOv3网络，其网络结构如图3-2所示。从YOLOv3的网络结构图即图3-2可以看出，YOLOv3和一些基于深度学习的one-stage目标检测算法一样，都是输入图片后通过CNN网络进行局部特征提取，然后在特征图的基础上进行前向计算，最后回归得到待检测物体的位置框。在常规的CNN网络结构设计时有两个优化方向，一个是速度优化，再一个是精度优化。一般情况下可以通过改变CNN的基础网络结构对图像提取特征来平衡速度和精度两个方向，YOLOv3采用darknet-53作为基础的特征提取网络，良好的平衡了速度和精度的关系。Darknet-53是一个CNN模型结构，用来提取训练数据中图片的特征信息，然后传递给后续的检测网络。Darknet-53将YOLOv2的基础网络Darknet-19与残差网络相结合，经过连续卷积和池化，输入到含有1000节点的全连接层，其卷积层数目和卷积核大小如图3-3所示。图3-3Darknet53网络结构图在构建回归目标的时候，YOLOv3与其他目标检测算法的不同之处在于，它将输入的图片调整为统一大小后划分成13*13的网格，然后对每个网格单独进
基于深度学习的着装表演机器人研究及设计16图3-4中()xyc,c为预设边界框在特征图上的中心坐标，()whp,p为预设边界框在特征图上的宽和高，(,,,)xywhtttt分别为网络预测的边界框中心偏移量(,)xytt以及宽高缩放比(,)whtt，(,,,)xywhbbbb为最终预测的目标边界框，从预设边界框到最终预测边界框的转换过程如图右侧公式所示，其中函数是sigmoid函数其目的是将预测偏移量缩放到0和1之间。YOLOv3在损失函数方面也进行了相应的改进，与一般的具有定位损失和分类损失的常用目标检测损失函数相比，YOLOv3增加了判断对应区域是否为物体的损失，具体而言，YOLOv3采用IoU来计算定位的损失，利用交叉损失熵计算置信度和类别概率的损失，公式如3.4所示。2222220022000000[()()][()()][log()(1)log(1)][log()(1SBobjjjjjcoordijiiiiijSBobjjjjjcoordijiiiiijSBobjjjjjijiiiiijSBnoobjjjjnoobjijiiiijLossIxxyyIwwhhICCCCICCC=========+++++20)log(1)]([log()(1)log(1)]jiSobjjjjjijiiiiicclassesCIPPPP=+(3.4)上述损失函数3.4可以分解为以下几个部分，分别为代表中心坐标误差的式子3.5，代表宽高坐标误差的式子3.6，代表置信度误差的式子3.7和代表分类误差的式子3.8。22200[()()]SBobjjjjjijiiiiijIxxyy==+(3.5)22200[()()]SBobjjjjjijiiiiijIwwhh==+(3.6)220000[log()(1)log(1)][log()(1)log(1)]SBobjjjjjijiiiiijSBnoobjjjjjnoobjijiiiiijICCCCICCCC====++(3.7)20([log()(1)log(1)]Sobjjjjjiji
【参考文献】：
期刊论文
[1]人工智能在中医骨伤科领域应用的现状与前景[J]. 刘军,韩燕鸿,潘建科,曾令烽,梁桂洪. 中华中医药杂志. 2019(08)
[2]人工智能在军用机器人的应用[J]. 陆震. 兵器装备工程学报. 2019(05)
[3]基于深度学习的动物姿态估计和状态评估研究[J]. 陈永康,宋亚男,何嘉俊,徐荣华,黄栩滨. 电子世界. 2019(05)
[4]基于深度学习方法的海上舰船目标检测[J]. 袁明新,张丽民,朱友帅,姜烽,申燚. 舰船科学技术. 2019(01)
[5]三维动画动作设计及技巧探析——以《行走动画》为例[J]. 邓飞. 美术教育研究. 2018(16)
[6]水下机器人在海上石油工程中的应用探讨[J]. 刘军. 中国设备工程. 2018(08)
[7]机器人的“软硬兼施”[J]. 张敏. 军事文摘. 2018(03)
[8]网红机器人索菲亚何许“人”也?[J]. 谢玮. 中国经济周刊. 2018(05)
[9]NAO机器人平台的创新实验设计与实现[J]. 王振,张星. 实验室研究与探索. 2016(12)
[10]基于MEMS传感器和Unity3D的人体运动捕获系统[J]. 张衡,张泽宇. 图学学报. 2015(02)
硕士论文
[1]基于Kinect的田间苹果检测与定位方法研究[D]. 赵海东.西北农林科技大学 2019
[2]基于双层模型的传统服饰图像分割算法研究[D]. 杨婷.北京邮电大学 2019
[3]移动机器人的路径规划与跟踪方法研究[D]. 王正安.哈尔滨工程大学 2019
[4]双足机器人稳定步态规划及多机器人室内自定位方法研究[D]. 余天奇.哈尔滨工业大学 2016
[5]基于Android的智能机器人交互技术研究[D]. 卢天增.中国海洋大学 2015
本文编号：3392970
【文章来源】：东华大学上海市 211工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
系统需求愿景展示
基于深度学习的着装表演机器人研究及设计14想，再将YOLO输出层的全连接层换成了卷积层，最后使用了新颖的多尺度训练方法，得到了改进后的新版本YOLOv2，实验结果表明上述改进提高了模型的精度和速度。尽管YOLOv2在YOLO基础上效果得到很大提升，但是在小目标检测任务中表现效果欠佳，为了更好的检测小目标，Joe等人在YOLO和YOLOv2的基础上再次进行改进，得到了在目标检测领域无论速度还是精度都十分具有竞争力的YOLOv3网络，其网络结构如图3-2所示。从YOLOv3的网络结构图即图3-2可以看出，YOLOv3和一些基于深度学习的one-stage目标检测算法一样，都是输入图片后通过CNN网络进行局部特征提取，然后在特征图的基础上进行前向计算，最后回归得到待检测物体的位置框。在常规的CNN网络结构设计时有两个优化方向，一个是速度优化，再一个是精度优化。一般情况下可以通过改变CNN的基础网络结构对图像提取特征来平衡速度和精度两个方向，YOLOv3采用darknet-53作为基础的特征提取网络，良好的平衡了速度和精度的关系。Darknet-53是一个CNN模型结构，用来提取训练数据中图片的特征信息，然后传递给后续的检测网络。Darknet-53将YOLOv2的基础网络Darknet-19与残差网络相结合，经过连续卷积和池化，输入到含有1000节点的全连接层，其卷积层数目和卷积核大小如图3-3所示。图3-3Darknet53网络结构图在构建回归目标的时候，YOLOv3与其他目标检测算法的不同之处在于，它将输入的图片调整为统一大小后划分成13*13的网格，然后对每个网格单独进
基于深度学习的着装表演机器人研究及设计16图3-4中()xyc,c为预设边界框在特征图上的中心坐标，()whp,p为预设边界框在特征图上的宽和高，(,,,)xywhtttt分别为网络预测的边界框中心偏移量(,)xytt以及宽高缩放比(,)whtt，(,,,)xywhbbbb为最终预测的目标边界框，从预设边界框到最终预测边界框的转换过程如图右侧公式所示，其中函数是sigmoid函数其目的是将预测偏移量缩放到0和1之间。YOLOv3在损失函数方面也进行了相应的改进，与一般的具有定位损失和分类损失的常用目标检测损失函数相比，YOLOv3增加了判断对应区域是否为物体的损失，具体而言，YOLOv3采用IoU来计算定位的损失，利用交叉损失熵计算置信度和类别概率的损失，公式如3.4所示。2222220022000000[()()][()()][log()(1)log(1)][log()(1SBobjjjjjcoordijiiiiijSBobjjjjjcoordijiiiiijSBobjjjjjijiiiiijSBnoobjjjjnoobjijiiiijLossIxxyyIwwhhICCCCICCC=========+++++20)log(1)]([log()(1)log(1)]jiSobjjjjjijiiiiicclassesCIPPPP=+(3.4)上述损失函数3.4可以分解为以下几个部分，分别为代表中心坐标误差的式子3.5，代表宽高坐标误差的式子3.6，代表置信度误差的式子3.7和代表分类误差的式子3.8。22200[()()]SBobjjjjjijiiiiijIxxyy==+(3.5)22200[()()]SBobjjjjjijiiiiijIwwhh==+(3.6)220000[log()(1)log(1)][log()(1)log(1)]SBobjjjjjijiiiiijSBnoobjjjjjnoobjijiiiiijICCCCICCCC====++(3.7)20([log()(1)log(1)]Sobjjjjjiji
【参考文献】：
期刊论文
[1]人工智能在中医骨伤科领域应用的现状与前景[J]. 刘军,韩燕鸿,潘建科,曾令烽,梁桂洪. 中华中医药杂志. 2019(08)
[2]人工智能在军用机器人的应用[J]. 陆震. 兵器装备工程学报. 2019(05)
[3]基于深度学习的动物姿态估计和状态评估研究[J]. 陈永康,宋亚男,何嘉俊,徐荣华,黄栩滨. 电子世界. 2019(05)
[4]基于深度学习方法的海上舰船目标检测[J]. 袁明新,张丽民,朱友帅,姜烽,申燚. 舰船科学技术. 2019(01)
[5]三维动画动作设计及技巧探析——以《行走动画》为例[J]. 邓飞. 美术教育研究. 2018(16)
[6]水下机器人在海上石油工程中的应用探讨[J]. 刘军. 中国设备工程. 2018(08)
[7]机器人的“软硬兼施”[J]. 张敏. 军事文摘. 2018(03)
[8]网红机器人索菲亚何许“人”也?[J]. 谢玮. 中国经济周刊. 2018(05)
[9]NAO机器人平台的创新实验设计与实现[J]. 王振,张星. 实验室研究与探索. 2016(12)
[10]基于MEMS传感器和Unity3D的人体运动捕获系统[J]. 张衡,张泽宇. 图学学报. 2015(02)
硕士论文
[1]基于Kinect的田间苹果检测与定位方法研究[D]. 赵海东.西北农林科技大学 2019
[2]基于双层模型的传统服饰图像分割算法研究[D]. 杨婷.北京邮电大学 2019
[3]移动机器人的路径规划与跟踪方法研究[D]. 王正安.哈尔滨工程大学 2019
[4]双足机器人稳定步态规划及多机器人室内自定位方法研究[D]. 余天奇.哈尔滨工业大学 2016
[5]基于Android的智能机器人交互技术研究[D]. 卢天增.中国海洋大学 2015
本文编号：3392970
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3392970.html
