深度学习机制下家庭服务机器人室内场景识别方法研究

发布时间：2020-03-28 13:54

【摘要】：当前服务机器人智能化和自主化水平还不能满足室内场景下人机共融的需求,其中环境认知能力的缺失、缺乏对场景语义对象的理解直接导致机器人无法了解与场景相关的人类意图,进而影响后续决策和行为。解决此类问题就是要缩小人类与机器人对同一物理环境的认知差距,这样室内场景识别成为服务机器人领域的一个研究热点。本文在深度学习的框架下,将场景的语义信息与底层卷积特征相结合,设计一种新的场景识别方法。主要的研究结果如下:(1)场景特征描述方法利用深度框架下的物体检测算法提取场景中的物品信息特征,设计一种称为物品向量的数据结构,将物品与场景类别相联系。采用原型聚类算法从物品向量中提取类别信息构成。利用深度卷积神经网络模型进行分类生成场景预判向量;同时改进原有网络结构,增加分支提取场景图像的全局特征向量。(2)融合多种场景特征的场景分类方法使用对数几率回归方法将多个描述向量进行拼接实现融合分类。在Places数据集上训练,在Indoor67数据集上进行测试,对比不同分类方法下的场景识别结果准确度。(3)机器人视角下序列图像的识别机器人实际工作时由视觉传感器获得场景的序列图像,本文将CRF算法引入到序列图像的内容处理中,根据当前帧的前若干帧的内容预测当前的场景类别。(4)机器人场景识别系统设计结合本文所提出的场景识别方法设计家庭服务机器人场景识别系统,实现家庭服务机器人在真实场景中实时识别,选择真实的家庭场景进行实测。
【图文】：

图像语义,图像场,场景图,场景

形成场景图像语义研究的新层次化结构，如图1.1。图 1.1 场景图像层次化表示作为图像语义的主要研究内容之一，图像场景理解的主要任务是描述场景中的目标和目标之间的关系。基于图像语义描述场景中目标之间的关系，，底层特征之间的相似性和高层图像语义之间的关联性都可以作为描述的对象。高层语义特征与图像基本特征提取、目标识别、图像理解等均有不同的相关程度。文献[12]仅利用激光传感器数据进行场所感知，使用AdaBoost算法训练弱分类器集合以得到一个强分类器，从而实现机器人对“房间”、“走廊”、“门口”等室内场所的区分。文献[13]

功用性,示例,工具,部件

近年来逐渐被引入到家庭服务机器人对家庭场景中的工具识别中[17]，一种部件工具功用性分类示例如图1.2。图 1.2 一种部件工具功用性分类示例[18]在人类认知过程中，对家庭场景的认知是根据场景中所含标志性物品对场景赋予的特定语义信息。心理学家预测功用性是实现人类感知外部环境的关键[19]，将场景中所含工具的功用性、位置布局及空间关系等语义信息融合起来是场景识别的重要方向之一。传统的感知型
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP242;TP18

【相似文献】