基于局部时空特征的服务机器人行为感知方法研究

发布时间：2020-05-12 03:54

【摘要】：家庭服务机器人对其服务对象行为的理解和感知是机器人人机交互技术亟需解决的核心问题,也是其自主化及智能化水平的重要体现。伴随三维时空建模研究的深入,基于局部时空特征的人体行为识别技术受到了越来越多研究者的关注。人眼感知是一个视觉刺激信息通过多级协作双向传播的过程,仅基于单一的图像特性并不能使机器人具备可靠的人眼识别能力,需要更加深入的优化多种特征的描述机理及融合策略。可见,机器人行为感知技术是建立在三维时空建模与多特征融合策略基础上更为复杂的计算机认知技术,准确的行为感知能力是实现机器人自主任务规划的先决条件。本文面向家庭服务机器人行为感知问题,围绕局部时空特征展开相关研究工作。首先,基于时空兴趣点采样策略,提出了采用自适应变异粒子群优化SVM的行为识别算法。其次,基于图像多尺度密集采样策略,针对轨迹特征在滤除背景噪声干扰、描述人体结构和交互语义信息方面的不足进行了深入探讨,并提出了相应的改进方案。最后,基于人体行为感知技术设计了多机器人服务系统整体框架,并通过实际测试验证了其有效性和可行性。所涉及的主要研究内容如下:(1)为了提高算法对视频序列中人体行为的识别能力,建立了基于局部时空特征的行为识别框架。首先,采用Harris3D检测器获取时空兴趣点(Space Time Interest Points,STIP),以方向梯度直方图和光流方向直方图对STIP进行描述,并引入Fisher向量实现对特征描述子的编码。其次,针对传统参数设定策略下SVM行为分类模型存在的泛化能力不足问题,将粒子群算法应用于各行为分类器参数寻优过程中,通过考虑种群多样性逐代变化的情况,构建粒子聚集度模型,并利用其动态地调节各代粒子的变异概率。最后,在KTH和HMDB51数据集上对所提方法进行验证,结果表明所提自适应变异粒子群算法收敛性能良好且整体识别框架具有较高的实用性和准确性。(2)针对密集轨迹特征中背景轨迹不能被有效滤除的问题,提出了一种基于多尺度混合掩模的前景轨迹(Foreground Trajectories on Multi-scale Hybrid Masks,HM-FTs)提取方法。首先,利用光流计算视频帧的运动边界图像以生成初始掩模。其次,采用中心先验和暗通道先验检测图像前景区域,通过基于元胞自动机的同步更新机制对其进行优化后获得弱显著图。随后,将弱显著图与利用多核增强算法提取的强显著图融合得到运动前景区域,并采用协同优化策略和掩模交叉生成多尺度混合掩模。最后,通过设计有效的补偿方案实现对前景轨迹的优化。在基准数据集上的测试结果表明,所提方法能够提取与运动人体密切相关的前景轨迹,显著改善原始轨迹特征的判别性能。(3)为了解决密集轨迹特征对于人体结构信息描述不足的问题,同时有效利用不同人工选定特征对于特定行为的敏感度差异,提出了一种基于视觉词袋(Bag-of-Visual-Words,BoVW)模型和DS(Dempster-Shafer,DS)证据理论的通用可扩展加权评分级特征融合方法。首先,选择训练集中的部分样本构建验证集。随后,从这些样本中提取局部时空特征和人体姿态特征以获取所需的证据信息。通过DS证据理论和适者生存规则完成证据合成,并计算优化后的不同特征关于特定行为的权重向量。最后,根据加权求和策略推断出当前行为类别标签。实验结果表明,所提加权评分级特征融合方法可以充分利用多种人工选定特征之间的互补性,切实提高算法的行为识别准确率。(4)针对基于BoVW框架的局部时空特征不能有效编码交互语义信息的问题,提出了一种时空语义特征(Spatio-temporal Semantic Feature,ST-SF),并基于信息熵理论将其转换为有助于正确决策的辅助判别依据。首先,通过设计文本相关性分析(Text-based Relevance Analysis,TRA)策略估计与行为密切相关的对象文本标签集合,并利用其训练更具针对性的目标检测器。其次,采用帧间协同性和动态规划算法对虚假检测进行优化以获取有效的目标时空管道,随后应用ST-SF特征对交互语义信息进行编码。最后,基于训练集样本的ST-SF矢量空间分布定义了特征熵概念及决策增益的计算方法,由此构建了一种包含两阶段的行为分类框架。在三个行为数据集上的实验结果显示,所提方法相比于已有算法具有明显的性能改善,并且能够有效地编码交互语义信息,实现真实场景下的鲁棒行为识别。(5)利用单目视觉传感器获取真实室内场景下的行为视频片段,通过将上述行为识别算法应用于实际的服务机器人系统,使其具备鲁棒的自主行为感知及交互任务执行能力。首先,基于传感器网络、传送机器人和智能抓取机器人,构建用于完成交互任务的多机器人协作服务框架。其次,针对轮椅床用户日常需求,创建了包含13种动作类别的日常行为数据集,并基于其训练行为分类器。最后,面向机器人行为感知及人机交互任务构建了多机器人服务系统交互界面,通过设计相关实验证明了所提框架的可行性以及行为识别算法的实用性与准确性。
【图文】：

机器人

北京工业大学工学博士学位论文胸前触摸屏上显示信息来提醒老人服药及测量血压，同时量人体基本生命体征并记录健康状态。法国 Aldebaran RO 机器人是目前学术研究应用最广泛的类人机器人。该对高等教育项目公开，并于 2010 年成立基金会支持在机学应用。NAO 包含 25 个自由度、多种高性能传感器和机Windows 或 Mac OS 等操作系统下编程调试，并且具备开用户探索多种任务级的机器人研究，如人机交互[3]、轨迹[4][5]、即时定位与导航系统开发[6]以及在线行人检测与跟006 年开始不断革新，并于 2018 年推出了 NAO6 版本，是内部集成了功能更加强大的 CPU 并升级了多种传感器所示。

机器人,服务机器人

（a）Relay （b）Care-O-bot 3 （c）Care-O-bot 4图1-2 Relay 和 Care-O-bot 机器人Fig.1-2 Robots Relay and Care-O-bot18 年，日本大阪大学石黑浩教授团队展示了其开发的改进版人形rica，该机器人通过遍布于房间多个方位的麦克风和摄像头获取对调信息，经服务器整合所有信息之后做出决策，并利用目前世界上语言合成系统，实现与用户的持续顺畅对话。内对于服务机器人的研究始于 20 世纪 70 年代，晚于部分发达国家家政策的大力扶持、国际交流的日趋频繁以及科研人员的不懈努力研院所和高精尖企业在服务机器人领域已经取得了丰硕的理论研并设计搭建了众多令人瞩目的高智能化服务机器人研究平台。北京教授团队在 2005 年至 2012 年间先后研制了 5 代“汇童”机器人，的运动规划和系统集成等关键技术进行了探索，，解决了多自由度拟控制难题，提高了机器人运动的自然性和稳定性。中国科学技术启动了“可佳工程”开始自主研究智能服务机器人整机，涉及一
【学位授予单位】：北京工业大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP242

【相似文献】