图像单元对比及统计特性显著化检测及其应用

第1章 绪 论

1.1 显著性检测研究的背景和意义
随着信息技术的高速发展，数字图像已成为信息的重要载体，是人与人之间沟通的重要媒介。对于人类来说，图像场景中包含着丰富的语义信息；但对计算机来说，它们则只是由大量多维向量即像素点组成的矩阵，本身并不显式的包含图像的内容信息。计算机很难像人一样从语义层面理解图像的内容，大量的图像数据会给人工处理造成极大困难，智能分析图像内容，找到真正有用的信息，已成为计算机视觉领域的一个重要方向。最初，科学家们普遍认为人类通过视觉系统接收周围环境的全部图像信息，在大脑中进行无差别的分析。然而，近些年的研究成果已经推翻了这种观点，其中，Daniel等人从心理学领域充分证明了人类能不断的从大量的信息中筛选出有用的信息，同时拒绝无用的信息[1]。在视觉领域，大脑能够在1/10秒内通过眼球获取视觉场景中重要信息，同时忽略不相关的部分，面对一幅图像，人们总是能在第一时间把目光集中在自己感兴趣的某一个小区域，这个区域往往就包含场景的主要信息。人类视觉系统所具有的这种特性被称为选择性注意机制，它可以有选择性的分析图像信息，调度资源，使得分析的过程更加高效和可靠[2]。因此，面对海量信息，通过计算机一视同仁的处理所有图像数据是不现实，也是完全没有必要的，如何能准确的找到图像中“有用的”、“重要的”、“最吸引注意力的”部分进行优先处理就凸显出其重要的意义。
…………..

1.2 显著性检测国内外研究现状
在神经生物学、心理学等多种学科的共同启发下[8]，近年来，视觉显著性检测一直得到国内外学者的广泛关注，以往研究者们已经提出了很多显著性计算模型。目前被广泛接受的划分方式是根据人类视觉系统的机理将视觉显著性检测方法分为基于数据驱动(Bottom-Up)自底向上的检测模型和基于高层理解(Top-Down)自顶向下的检测模型两大类。自底向上的显著性检测方法完全根据输入信号来进行计算，所以也被称为数据驱动型方法。这类方法几乎不需要什么先验知识，仅仅根据图像的底层特征，例如颜色、方向、边缘、梯度等属性就能计算出显著性区域。研究人员已经提出了大量该类方法的计算模型。早期的显著性检测模型主要模仿人类视觉系统处理信息的流程，属于基于生物启发式模型。随着该领域的不断发展，基于显著性的应用越来越广泛，研究者从实际应用的角度出发提出了偏重计算的模型，这种模型往往能达到非常优秀的效果。自顶向下的显著性检测方法往往利用先验知识分析图像的显著性区域，通常根据具体的任务内容，设计有针对性的计算策略，这也就决定了该类方法与自底向上的显著性检测方法相比，不具有广泛的适用性。从实现角度来说，先验知识的获取需要依靠机器学习训练大量样本，从而建立的样本模型，检测显著区域的位置。为了提高检测的效果，需要建立尽量准确的样本模型，但是，精准的样本模型不仅需要研究人员对目标对象的结构和性质有着深刻的了解，而且需要大量的经过人工标注的训练样本，这是因为即使是属于同一类的目标物体，他们的形态也可能成千上万。除此之外，机器学习算法的设计也一直是一项相当复杂的工作。
……………

第2章 构造图像单元结构

2.1 视觉处理单元的引入
数字图像处理往往都是以像素作为基本处理单位，一个RGB像素只是一个三维向量，本身包含的信息十分有限，难以分析更深层次的特征。除此之外，图像的像素数目往往都十分巨大，比如一副分辨率为300 400的RGB三通道图像，其像素数目在十二万，且每个像素都是一个三维向量，因此，以像素为处理单元往往会给后续工作带来很大计算量。以往的显著性检测算法中大部分都是以像素为基本计算单位，但若对图像所有通道的全部像素操作，将会导致计算量巨大，研究者们选择各种方式降低处理单元的数量，例如LC方法单独选择亮度通道计算图像显著性区域，但是这样也就抛弃了图像中的大量有用信息，导致该方法无法有效的处理复杂多变的自然图像。日常生活中，人们在观察场景时视觉系统都是以场景中的区域作为基本单位接收外界的刺激并处理图像信息，在这一点上与数字图像处理并不相同。图像的区域包含的信息十分丰富，包括颜色、大小、形状、位置等等，这为后续的处理提供了大量可供选择的特征。显著性区域检测正是在模拟人类视觉系统，因此应该与视觉注意机制保持一致性。以往的显著性检测算法往往采用多尺度方式模拟这种区域处理单元。IT方法作为一种较早的显著性检测方法，通过在多尺度空间基于多特征计算显著性图。IT方法共采用了9级高斯金字塔，首先计算其高斯金字塔序列图像，在这些序列图像反映了目标图在不同尺度下所包含的信息，模拟人类视觉系统，在不同尺度下基于不同特征计算显著性图，将显著性检测结果合并。
…………

2.2 Mean-shift算法在构造图像单元中的应用
在数字图像处理领域中，图像分割算法能够在保留图像信息的基础上高效的将图像划分成为多个非重叠的子区域，Cheng等人在RC方法中也是采用这种的思想，但RC方法所使用的图像分割算法是通过图结构的节点生长方式来进行图像分割[34]，分割效果一般且计算效率低。但是，基于区域的显著性检测结果很大程度上依赖于图像分割的效果，因此，为了克服前人算法的缺点，在构造图像单元的过程中，本文使用一种改进后的自适应Mean-shift图像分割算法，通过颜色空间多维数据样本的空间分布密度进行分割。将Mean-Shift算法应用到图像处理领域，在图像中像素点的空间维数是(x, y)，每个像素点由(r, g, b)三基色构成，在进行图像分割时，Mean-shift图像分割算法通过使用一个滑动窗口扫描空间来找到数据密度最高的多维数据点聚集部分，即数据峰值。由于，空间向量与颜色向量的变化范围有极大不同，所以对不同的维度需要选择不同的窗口半径。当窗口移动时，经过窗口变换后收敛到该数据峰值的点都会连通起来并属于该峰值，这种所述关系是通过密集的尖峰辐射实现图像分割。Mean-shift算法能够综合考虑多通道颜色特征，区域大小，空间距离等因素，能将颜色相同或相近，且空间分布集中的像素划归到同一区域，同时将对比度大或者空间距离较远的样本划分到不同的区域，除此之外，还拥有良好的保边性，能够保留图像区域清晰的轮廓，约束图像中的物体形状，在颜色域和空间域上都具有良好特性[35]。
………….

第3章 基于两种模型的显著性检测.......17 
3.1 显著性检测评价标准介绍 ...... 17 
3.2 基于图像单元对比度的显著性检测 ..... 20
3.3 基于图像单元主要颜色空间分布特性的显著性检测........ 25
3.4 本章小结 .......... 32 
第4章 关键显著性区域增强.....33 

4.1 多特征显著性图融合 ...... 33 
4.2 关键显著性区域计算 ...... 34 
4.3 基于关键显著性区域中心增强 ..... 36 
4.4 实验仿真 .......... 38
4.5 本章小结 .......... 38
第5章 显著性检测模型对比与应用.......39 
5.1 实验对比 .......... 39 
5.1.1 实验平台的搭建...... 39 
5.1.2 实验数据集和评价方法 ........ 40 
5.1.3 显著性检测方法的全面对比 ....... 40 
5.2 显著性检测的应用.......... 43
5.2.1 基于显著性检测的图像智能缩放 ...... 44 
5.2.2 基于显著性检测的图像风格化 .......... 46 
5.3 本章小结 .......... 47

第5章 显著性检测模型对比与应用

5.1 实验对比
实验硬件平台为：Intel(R) Core(TM)2 Duo，CPU E4500 @2.2 GHz 2.19 GHz，内存2.00 GB，硬盘240 GB。软件平台：Window 7(32位)操作系统，Microsoft Visual Studio2010集成开发环境，C++编程语言和OpenCV开放性计算机视觉库。开放性计算机视觉库OpenCV(Open Source Computer Vision Library) 是由Intel研发，是一个计算机视觉方向的开放性函数库，内部使用C/C++编程，可以兼容Windows/Linux/IOS/Android等多种操作系统。除了C/C++外，OpenCV 还支持Java、Python、Ruby、MATLAB等多种语言接口，它包含上千个功能强大函数，覆盖了计算机视觉的许多应用领域，为开发者编程处理数字图像提供了很大的方便，大大提高了计算机在进行数字图像处理时的运行速度，已经成为图像视频处理领域研究者和开发者不可或缺的工具。OpenCV是一个近些年刚刚兴起的开放性计算机视觉函数库，它是由Intel研发中心最先发起创立，后来在各方共同努力下，不断的发展壮大，已经成为计算机视觉领域不可或缺的开发工具，无论是从事计算机视觉领域研究的学者，还是从事图像处理领域的公司都广泛采用OpenCV作为开发工具。

……………

结论

随着拍摄设备高速普及，数字图像已经成为人与人沟通的重要信息载体。特别是近些年来社交网站、微博等图像分享平台的兴起，更加促使了数字图像呈爆炸形式增长。面对海量的网络图像，如何让计算机像人类一样智能处理图像，已经成为计算视觉领域的研究热点。显著性检测基于生物视觉原理检测出图像场景中的目标区域，虽然并未使计算机获得图像承载的信息，但是可以自适应的对场景中的包含主要信息的区域进行筛选，完全脱离复杂繁琐的人工交互，为后续计算机理解图像语义信息提供帮助，在目标检测、图像分类、图像内容理解等诸多领域都有着广泛的应用前景，蕴藏着巨大的商业价值。本课题在前人探索的基础上，研究可靠的显著性检测模型，着力提升检测结果的精度和召回率，提出了本文以上章节所述的算法，通过实验验证本文算法的有效性，并将显著性检测付诸实践。
…………
参考文献（略）