面向高维数据的特征学习理论与应用研究

发布时间：2018-03-31 23:09

本文选题：特征学习　切入点：局部一致　出处：《苏州大学》2016年博士论文

【摘要】：随着信息获取和信息传输技术的飞速发展,海量图像、视频、文本以及音频等数据不断生成。这些数据结构复杂、表征维度高,通常含有大量无关的冗余信息,直接处理和利用这些原始数据通常难以获得理想的效果。特征学习就是要从复杂的高维数据中挖掘出反映数据本质的、更为紧凑的内蕴结构特征,不仅可以降低数据处理的时空复杂度,而且可以显著改善后续处理任务如分类、聚类、检索等的性能。为此,围绕特征学习方法的研究受到了机器学习领域专家的高度重视。目前广为使用的特征学习方法包括线性特征学习的主成分分析、线性判别分析、非负矩阵分解等,以及非线性特征学习的等距映射、局部线性嵌入方法、拉普拉斯特征映射、邻域保持嵌入、等距投影、局部保持投影以及判别邻域嵌入等,虽然这些方法在分析和处理高维数据时有其各自的优势,但是在某些场合应用时仍然会出现各种问题。本论文正是针对现有特征学习方法中的不足,研究相应的应对措施,并提出了若干全新的算法。除此之外,由于张量能够自然的表征复杂的数据结构近年来备受关注,本论文在张量学习方法上进行了大胆的探索。具体来说,本文的主要贡献集中在以下几个方面:(1)概念分解是纯粹的无监督学习方法,不能利用先验知识指导学习过程。针对上述不足,本文提出基于半监督概念分解的特征学习方法。该方法利用有监督信息指导聚类过程,把对约束奖惩项引入概念分解框架中。由于属于同一类的数据点对在新的表示空间有不同的强度,因此在为每个对约束添加惩罚时,依据其重要性的大小添加相应权重,更好地解释了类内方差,因而得到了更易于聚类的低维特征。通过精心设计目标函数使得那些在源空间属于同一类的数据点在低维转换空间仍然属于同一类,同时给出了求解局部最优解的迭代更新策略,并证明了该迭代更新策略收敛。和时下经典聚类算法的对比实验,表明本算法获得的特征表示更有利于文档聚类任务的高效实现。(2)针对半监督概念分解方法忽略无标记样本的局部结构信息这一缺陷,提出了基于邻域保持的半监督概念分解特征学习方法。该方法把对约束信息和与不变性相关的信息引入到概念分解框架中以提高学习性能。这里的不变性不仅包括几何空间上的邻域保持性质,也包括由对约束must-link产生的约束保持性质。为此我们使用了捕获几何结构信息的p-近邻图和保持约束限制的成员邻接图编码信息。此外,构造了目标函数的迭代优化算法,分析了迭代优化算法的收敛性。通过充分的对比实验验证了本算法具有更好的适应性,可以获得区分度更高的特征表示。(3)局部保持投影是一种经典的无监督的流形学习方法,但是该方法不能利用有监督信息指导学习过程。针对上述不足,本文提出了基于局部一致判别的特征学习方法。该方法在LPP的基础上,借助有类别标记数据点构建类内邻接图和类间邻接图,通过优化目标函数使得同类的顶点更加紧凑,不同类的顶点更加疏远,从而完成划分过程。由此得到的局部一致判别分析方法不仅保持数据的局部几何结构信息,同时也增强了数据的判别性。除此之外,给出了局部一致判别分析的目标函数的优化算法。和经典的人脸识别算法在公开数据集上的对比试验表明了本算法的有更强的判别能力。(4)给出了张量树特征学习算法框架,揭示了经典张量分解如Tucker分解和CP分解与张量树学习理论的关系,并给出了张量树特征学习算法框架下的邻域嵌入张量学习新算法。数据的多样化、海量化、高阶化使研究者们展开多方位的研究,张量作为一种有效的表示和分析复杂数据的工具受到了广泛关注。我们在已有工作的基础上,提出了新的张量树学习算法并构建张量树特征学习理论框架,丰富和发展了张量学习的研究内容。进一步地,在判别邻域嵌入方法的基础上,提出了张量树特征学习理论框架下的邻域嵌入张量学习方法,该方法不仅克服了DNE可能导致的“维数灾难”和“小样本问题”,而且弥补了DNE方法偏重数据的邻域点而忽略数据非邻域点的影响的不足。通过精心设计目标函数,使得投影空间的同类结点更加紧凑,不同类结点更加疏远,保持数据局部结构一致性同时提高数据判别能力。在ORL、PIE和COIL20等公开数据库上的实验,验证了NTL拥有更高的识别率和效率。
[Abstract]:......
【学位授予单位】：苏州大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP181

【参考文献】