多模态学习下3D映射人脸关键点检测研究与实现

发布时间：2020-03-21 06:06

【摘要】：随着人脸分析及识别在社会安全、人机交互和智能服务等领域的需求日益增加,人脸分析及识别的研究意义及价值也逐渐得以体现。而人脸中最重要的部位是五官和轮廓,如何精准高效的定位这些包含了人脸的绝大多数的语义信息的部位是人脸分析及识别的重要前提。目前大多数的人脸关键点检测方法都只关注2D人脸模态下的关键点分布。这些方法更加关注图像上看得见的部位,这导致人脸真正的空间结构在大姿态引起的自遮挡情况下被忽视。本文旨在提出新的可以同时适用于多种模态下的人脸关键点检测方法。尤其在头部大姿态的情况下检测2D人脸关键点和自遮挡的3D映射人脸关键点依然是一个充满挑战的问题。本文针对这些问题提出了新的深度学习模型以解决人脸大姿态下2D人脸关键点及3D映射人脸关键点的检测。论文的主要内容和工作如下:1.针对无约束环境下的头部大姿态问题,提出了 MDP(Markov Decision Process)调整策略来优化级联回归方法中的初始化敏感问题。对比传统的级联回归方法,MDP初始化策略会从奖励函数中学习一个动作集合,这一系列的动作会对图像的裁剪进行调整,使得网络的初始输入覆盖更多的人脸语义区域。2.深度学习需要大量数据用于神经网络的训练,多个不同模型的训练会大大增加时间成本。在第三章节中建模两种模态下的人脸关键点检测任务为一个并行多任务模型。为此,设计了一个多智能体共同学习模型,在这个模型中,2D人脸关键点检测智能体与3D人脸关键点智能共享学习到的共有特征,从而达到增强特征表达的目的。3.为了解决多种模态下大姿态导致的人脸极端形变问题,在第四章节提出了建模人脸区域之间的约束关系,这种细化的人脸区域之间的约束关系可以使形变区域之间相互的负面影响降低。本文设计了一个关系结构化网络同时学习全局和局部的人脸约束关系,并通过强化学习方法对整个迭代过程进行优化。4.设计一个实验平台系统,对所提出的算法进行集成,可以实现人脸2D关键点检测、3D关键点检测以及多视角关键点共同检测等功能。
【图文】：

在１９８０年，ＫｕｎｉｈｉｋｏＦｕｋｕｓｈｉｍａ受生物视觉模型的启发提出了基于感受野的神经感知机。随逡逑后Ｙ＿邋ＬｅＣｕｎ在此基础上完善了卷积神经网络，即ＬｅＮｅｔ－５网络，其是第一完整意义上的卷积逡逑神经网络。如图２－２所示：逡逑Ｃ３：邋ｆ．邋ｍａｐｓ邋１６＠邋１０ｘ１０逡逑ＩＮＰＵＴ逡逑３２Ｘ３２逦响ｒ逦丁逡逑／＼逦—疆ＦＺ－ｒｇ－ｍ逡逑［逦５佭ＦｕｌＵｏｒｔｆＬｃｔｉｏｎ邋｜邋Ｇａｕｓｓｉａｎ邋ｃｏｎｎｅｃｔｉｏｎｓ逡逑Ｃｏｎｖｏｌｕｔｉｏｎｓ逦Ｓｕｂｓａｍｐｌｉｎｇ邋Ｃｏｎｖｏｌｕｔｉｏｎｓ邋Ｓｕｂｓａｍｐｉｉｎｇ邋Ｆｕｌｉ邋ｃｏｎｎｅｃｔｉｏｎ逡逑图邋２－２邋ＬｅＮｅｔ－５逡逑近年来，基于深度神经网络（Ｄｅｅｐ邋Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋｓ，，邋ＤＮＮ）的计算机视觉任务获得了长足的发逡逑展，例如：目标检测、物体分类、身份识别等任务。尤其是在２０１２年，利用深度卷积神经网络逡逑训练的邋ＡｌｅｘＮｅｔ［２Ｇ］在超大规模物体识别竞赛（Ｌａｒｇｅ邋Ｓｃａｌｅ邋Ｖｉｓｕａｌ邋Ｒｅｃｏｇｎｉｔｉｏｎ邋Ｃｈａｌｌｅｎｇｅ，逡逑ＩＳＶＲＣ）ＩｍａｇｅＮｅｔ评测数据库上取得了超过其他方法１０个百分点的巨大优势，如图２－３所示：逡逑＾ｉｉ逦Ａｎ邋Ａ邋ｎ邋ｕ逡逑ｓＭ＂－邋＾逦逦—＾邋－逦Ｖ３邋＾邋＾邋－逡逑Ｖ＇－４５邋＼ｘＺＺＺＺ３．＂ｊ邋Ｎ逦邋Ｎ逦逦ｉＷ0逡逑Ｖ＂＇邋－逦＼｜逦１９２逦１９２逦１２８邋Ｍａｘ邋＿邋Ｌ＿逡逑２２ｉＷｔｒｉｄｅ

图２－４卷积操作逡逑从图中可以看到，每次卷积操作只负责提取输入中局部的特征，并且局部特征之间利用感受逡逑野进行关联，在减少大量参数的情况下，依然保持了一定的全局信息的相关性。图２－５展示了多逡逑层卷积之间的关系：逡逑Ｌａｙｅｒ邋ｍ＋１邋（邋）逡逑Ｌａｙｅｒ邋ｍ邋ｏ邋ｏ邋ｏ逡逑图２－５多隐层卷积逡逑卷积神经网络通过卷积核感受野的重叠区域来增加图像局部区域之间的关联信息，即便每个逡逑感受野只能观察局部区域．最终的提取出的特征表达依然具有描述全局的能力。上图中第ｍ层每逡逑个神经元的输入只包括ｍ－１层中的局部信息．这些局部的信息代表了自然图像中某个区域的表观逡逑信息。而第ｍ层中邻近的神经元的输入信息中有大量的重叠信息．这使得ｍ层中邻近神经元所逡逑获得的信息具有强烈的相关性。同时，这种结构保证了每个神经元只会对输入信息的局部产生响逡逑应，这大大减少了训练中的参数量。多层的神经元结构使得网络具有了拟合非线性问题的能力，逡逑并且逐层堆叠的神经网络使得更上层的神经元获得对原始图像更大的感知区域，最终使得特征表逡逑达可以描述整个原始图像。逡逑－９－逡逑
【学位授予单位】：宁夏大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18

【相似文献】

相关期刊论文 前10条

1 刘佳琴;;合作学习中如何处理好优生和学困生的关系[J];德阳教育学院学报;2003年04期

2 肖川;;学习的真义[J];青年教师;2016年08期

3 杨润贞;;幼儿园“方案教学”活动主题的选择[J];宁夏教育科研;2011年02期

4 舒国喜;;浅谈小学生良好学习习惯的培养[J];雅安职业技术学院学报;2009年01期

5 狄玉虹;;浅谈历史教学中研究性学习的开展[J];宁夏教育科研;2009年02期

6 范琪;;让良好的学习习惯陪伴学生健康成长[J];雅安职业技术院学报;2004年03期

7 孙红艳;;初中生在学习数学过程中的常见问题[J];雅安职业技术院学报;2005年04期

8 吴洪锋;;如何调动后进生的学习积极性[J];雅安职业技术学院学报;2010年04期

9 左克军;;动机、动力、自信、毅力——电大“注册视听生”顺利完成学习的前提[J];南钢科技;2000年01期

10 饶群芳;;如何培养学生的学习动力[J];雅安教育学院学报;2001年02期

相关会议论文 前10条

1 冯莉;;让学生在自主探究和动手实践中学习数学[A];新教育时代教育学术成果汇编[C];2019年

2 阿勒尔黑;;浅析数学学习习惯的培养[A];2018年“基于核心素养的课堂教学改革”研讨会论文集[C];2018年

3 张平;王兰启;李晓敏;韦国友;和晓聪;;学生良好学习习惯的培养有效学习的研究[A];《教师教学能力发展研究》科研成果集（第十七卷）[C];2018年

4 祝青亮;洪艳;李乐桂;;小学数学合作学习的实践与研究[A];《教师教育能力建设研究》科研成果汇编（第九卷）[C];2018年

5 王娜;;孩子,课堂属于你们——学生是数学学习真正的主人[A];中国教育发展战略学会教育教学创新专业委员会论文集卷四[C];2019年

6 杨华斌;;试论中学合作学习教学模式的运用研究[A];中国教育发展战略学会教育教学创新专业委员会论文集卷四[C];2019年

7 温跃海;;小组合作学习有利于学生数学核心素养提升的研究[A];第十二届中国智慧工程研究会基础教育“十三五”规划课题会议论文集[C];2017年

8 刘扬威;;论学习兴趣的重要性[A];2019全国教育教学创新与发展高端论坛论文集（卷三）[C];2019年

9 ;多层次引领 让学习成为教师的习惯[A];河北省教师教育学会第九届优秀课题成果论坛文集[C];2018年

10 胡明标;;小学数学自主探究性学习的实施策略研究[A];《教师教学能力发展研究》科研成果集（第十一卷）[C];2017年

相关重要报纸文章 前10条

1 实习生 邹春霞　本报记者 雷宇;中专生尹卫东：不要仅为成绩而学习[N];中国青年报;2012年

2 福建省厦门市集美区杏东小学校长 张超怀;让学生经历完整的学习[N];中国教师报;2020年

3 河南省洛阳市伊川县白元镇第一初级中学 张利浦;教师如何有效组织学生进行小组合作学习[N];山西青年报;2018年

4 记者 隋舒雨;学以致用 扎实推进“学习强国”学习平台工作[N];抚顺日报;2019年

5 广西壮族自治区钦州市人民警察训练学校副校长 龙玉平;大兴学习之风要力避“三舍”[N];人民公安报;2019年

6 上海市浦东教育发展研究院副研究员、学习共同体研究院院长 陈静静;通过观察学生促进深度学习[N];中国教师报;2019年

7 滨海县八滩镇中心小学 沈益亮;善用“错误”，促进有效学习[N];江苏教育报;2019年

8 丛玉芝;学习容不得弄虚作假[N];长沙晚报;2019年

9 ;创课：让学习更有意思[N];中国教师报;2019年

10 本报记者 刘亚文;为了更有意思的学习[N];中国教师报;2019年

相关博士学位论文 前10条

1 许s

本文编号：2592895