基于局部特征的图像表示模型理论与实践

发布时间：2020-10-21 01:07

　　 图像的分类和检索一直是计算机视觉、模式识别和机器学习领域的核心课题之一。基于局部特征的图像表示模型是图像分类和检索中最为有效和常用的方法。然而,由于众所周知的语义鸿沟,以及局部特征在表达高级视觉概念方面的局限性,传统的图像表示模型通常存在许多缺陷,包括对细微噪声的敏感性太强、特征编码的空间结构信息缺失、无法捕捉实际问题中的兴趣区域,等等。本文针对这些问题进行了充分的研究,讨论和改进了两种基于局部特征的图像表示模型,即视觉词袋模型和深度卷积神经网络。从实际应用的角度出发,我们抽象出若干重要的科学问题,并且利用创新性的方法解决这些问题。我们将图像表示模型拆分为多个模块,包括特征抽取、特征编码、特征组合以及后处理等,逐一进行深入探索。在模块化研究的基础上,我们开创性地提出一种能够同时处理图像分类和检索任务的模型,完成了两者的统一。最后,我们提出了两个富有挑战性的计算机视觉新问题,并且提供了新颖的初步解决方案。本文的主要创新点包括以下六个方面:?提出一种局部特征强化算法:从图像分类和检索的实际情况出发,论述局部特征的翻转不变的必要性,并且设计了一种简单的解决方案。?提出一种利用空间位置信息强化特征编码的算法:通过构造几何视觉短语和基于短语的池化算法,使得特征编码具有描述局部特征组的能力。?提出两种图像空间匹配模型:针对特定图像分类问题(细粒度分类和场景分类)的特殊特征组合算法,提升了图像表示的质量。?提出两种针对图像检索问题的后处理算法:利用基于图结构和随机游走理论的扩散算法,大幅提升准确率和召回率,并且应用于大规模网络图像搜索。?提出一种统一的图像分类和检索模型:利用强有力的图像表示和鲁棒的距离计算方法,同时处理分类和检索问题,并且在两类任务上都达到先进水平。?提出两个计算机视觉领域的新问题:同时利用前面几章的研究成果以及创新性的框架结构,对新问题进行探索,并且提出了初步的解决方案。本文所提出的方法大多具有很强的推广性,能够很方便地移植到其他应用问题中。我们的研究,为计算机视觉领域的科研人员提供了许多有价值的线索;我们提出的有趣而富有挑战性的新问题,也为我们未来的研究工作奠定了基础。
【学位单位】：清华大学
【学位级别】：博士
【学位年份】：2015
【中图分类】：TP391.41
【文章目录】：
摘要
abstract
第1章 引言
    1.1 研究背景和现实意义
    1.2 研究现状和难点
    1.3 全文的结构和创新点
        1.3.1 本文的组织结构
        1.3.2 本文的主要创新点
第2章 背景知识
    2.1 人工智能与计算机视觉
        2.1.1 典型问题
        2.1.2 相关研究领域
    2.2 视觉词袋模型
        2.2.1 描述子抽取
        2.2.2 视觉码本训练
        2.2.3 特征编码
        2.2.4 特征组合和图像分类
        2.2.5 特征索引和图像检索
    2.3 卷积神经网络
        2.3.1 总体结构
        2.3.2 网络训练
        2.3.3 其他应用
        2.3.4 网络的快速计算
    2.4 其他知识
        2.4.1 图像分割
        2.4.2 边缘检测
        2.4.3 物体检测
        2.4.4 最近邻搜索
第3章 局部特征的翻转不变强化
    3.1 研究动机
    3.2 翻转不变性的重要性
    3.3 翻转不变的局部特征
        3.3.1 局部特征的翻转
        3.3.2 Max-SIFT特征
        3.3.3 RIDE算法
        3.3.4 将RIDE扩展到其他局部特征
        3.3.5 图像应用
        3.3.6 与已有方法的对比
    3.4 实验部分
        3.4.1 数据集和基本设置
        3.4.2 局部特征的匹配
        3.4.3 细粒度物体识别
        3.4.4 全局翻转和局部翻转
        3.4.5 场景识别
        3.4.6 计算复杂度
    3.5 本章小结
第4章 局部特征的强化编码
    4.1 研究动机
    4.2 提取互补的局部特征
        4.2.1 SIFT和Edge-SIFT特征
        4.2.2 融合两种特征
        4.2.3 实验和讨论
        4.2.4 局限性
    4.3 几何短语池化
        4.3.1 GPP算法
        4.3.2 GPP的深入解释
        4.3.3 增强GPP的效果
        4.3.4 时间复杂度和稀疏性
        4.3.5 早期融合与后期融合
    4.4 基于边缘的空间加权
        4.4.1 边缘图像的模糊化
        4.4.2 加权算法的效果和讨论
        4.4.3 计算复杂度
    4.5 实验部分
        4.5.1 基本设置
        4.5.2 一般物体分类
        4.5.3 特定物体分类
        4.5.4 场景识别
        4.5.5 讨论
    4.6 本章小结
第5章 图像分类：局部特征的优化组合
    5.1 研究动机
    5.2 朴素的空间切分：空间金字塔匹配
        5.2.1 特征组合与指数子集
        5.2.2 标准的金字塔匹配
        5.2.3 推广的规则匹配
        5.2.4 实验部分
        5.2.5 结论
    5.3 细粒度分类：层次化部件匹配
        5.3.1 问题综述
        5.3.2 细粒度分类数据集
        5.3.3 物体部件的切分
        5.3.4 层次化结构学习
        5.3.5 几何池化策略
        5.3.6 实验部分
        5.3.7 结论
    5.4 场景分类：朝向金字塔匹配
        5.4.1 问题综述
        5.4.2 朝向金字塔匹配
        5.4.3 计算3D朝向
        5.4.4 实验部分
        5.4.5 结论
    5.5 本章小结
第6章 图像检索：特征索引和后处理
    6.1 研究动机
    6.2 异质图传播算法
        6.2.1 问题综述
        6.2.2 异质图传播
        6.2.3 实验部分
        6.2.4 结论
    6.3 图像网络算法
        6.3.1 问题综述
        6.3.2 Image Web数据结构
        6.3.3 参数选择过程的折中思想
        6.3.4 实验部分
        6.3.5 结论
    6.4 本章小结
第7章 统一的图像分类和检索模型
    7.1 研究动机
    7.2 ONE算法
        7.2.1 统一的分类和检索模型
        7.2.2 ONE算法
        7.2.3 感兴趣的物体区域
        7.2.4 近似最近邻搜索
        7.2.5 GPU加速
    7.3 实验部分
        7.3.1 数据集和实现细节
        7.3.2 模型和参数
        7.3.3 与现有方法对比
        7.3.4 时间和空间开销
    7.4 本章小结
第8章 新问题的探索
    8.1 研究动机
    8.2 细粒度图像搜索
        8.2.1 问题介绍
        8.2.2 问题描述
        8.2.3 细粒度搜索系统
        8.2.4 实验部分
        8.2.5 结论
    8.3 基于视觉内容的网页质量分析
        8.3.1 问题介绍
        8.3.2 网页质量分析的相关工作
        8.3.3 问题设定
        8.3.4 我们的算法
        8.3.5 实验部分
        8.3.6 结论
    8.4 本章小结
第9章 总结与展望
    9.1 本文的总结
    9.2 未来的展望
参考文献
致谢
附录A RIDE算法的补充说明
    A.1 密集SIFT特征的朝向估计
        A.1.1 SIFT的实现
        A.1.2 重构SIFT的整体朝向
    A.2 RIDE的推广：RIDE-4和RIDE-8
        A.2.1 RIDE-2、RIDE-4和RIDE-8
        A.2.2 实验
个人简历、在学期间发表的学术论文与研究成果

【相似文献】

相关期刊论文 前10条

1 黄巍;陈传波;郑运平;吴雪丽;;可重叠矩形多值图像表示及其上的几何矩生成[J];计算机科学;2008年10期

2 陶金金;黄秀清;陆云;高强;;基于重叠矩形图像表示方法的贝塞尔-傅里叶矩快速计算[J];软件导刊;2013年07期

3 曹奎,冯玉才,王元珍;一种基于颜色的图像表示及全局相似检索技术[J];计算机研究与发展;2001年09期

4 程兵,贾新春,郑南宁,袁泽剑;基于水平差集的多精度图像表示及绘制[J];西安交通大学学报;2002年04期

5 黄巍;陈传波;郑运平;吴雪丽;;基于非对称逆布局图像表示的近邻寻找算法[J];计算机工程与科学;2009年03期

6 舒振球;赵春霞;张浩峰;;局部敏感的稀疏概念编码及其在图像表示中的应用[J];计算机辅助设计与图形学学报;2014年01期

7 康寅;杨文川;;图像表示及在检索系统中的应用[J];软件;2011年01期

8 宋彦;蒋兵;戴礼荣;;基于多视觉码本的图像表示[J];模式识别与人工智能;2013年10期

9 刘艳丽,曹奎;一种基于PCA的图像表示与检索技术[J];计算机应用与软件;2003年04期

10 张琳波;王春恒;肖柏华;邵允学;;基于Bag-of-phrases的图像表示方法[J];自动化学报;2012年01期

相关博士学位论文 前10条

1 江波;基于图理论与稀疏约束模型的图像表示、匹配与识别[D];安徽大学;2015年

2 谢凌曦;基于局部特征的图像表示模型理论与实践[D];清华大学;2015年

3 李大瑞;基于大规模视觉模式学习的高性能图像表示[D];中国科学技术大学;2014年

4 黄巍;基于可重叠矩形子模式的图像表示和操作方法研究[D];华中科技大学;2008年

5 李亚峰;图像表示的若干问题研究[D];西安电子科技大学;2011年

6 吴中;大规模图像搜索中的图像表示模型[D];清华大学;2010年

7 肖延辉;基于矩阵分解的图像表示理论及其应用研究[D];北京交通大学;2014年

8 吴雪丽;基于斜面分解的非对称逆布局图像表示方法与处理算法研究[D];华中科技大学;2009年

9 郑运平;基于Gouraud阴影法和多子模式的NAM图像表示方法研究[D];华中科技大学;2008年

10 夏晖;矩形NAM图像表示模型的存储与运算方法研究[D];华中科技大学;2009年

相关硕士学位论文 前2条

1 焦绪国;基于单层稀疏自编码和支持向量机的场景分类[D];重庆大学;2015年

2 陆永亮;基于偏微分方程和多边形的非对称逆布局图像表示方法研究[D];华中科技大学;2009年

本文编号：2849410