基于马氏距离的度量学习算法研究及应用

发布时间：2017-12-07 13:16

  本文关键词：基于马氏距离的度量学习算法研究及应用

  更多相关文章： 度量学习 马氏距离 三元约束 多变量时间序列分类 高维数据

【摘要】：随着国民经济的发展,我国在逐步进行着产业智能化升级,而机器学习是智能化产业的理论基石之一。目前大部分机器学习算法都需要对使用特征向量描述的样本测量相似性。因此,专门研究相似性测量函数的度量学习成为了机器学习理论中一个重要的研究分支。虽然距离度量函数有很多种类,但马氏距离因为去耦合和量纲无关这两种优良的性质成为目前最好用的度量函数。因而基于马氏距离的度量学习算法的研究得到很多学者的青睐,研究成果也愈加丰富。但是通过对目前几种典型的度量学习算法分析,可以看到度量学习理论中还存在一些亟待解决的问题。本论文在前人工作基础上,对现有度量学习理论进行了有益的补充,提出了三种不同的度量学习算法,用于解决不同的问题。同时,论文将所提出的度量学习算法扩展到新的应用领域,为这些问题的解决提供新的方法和思路。本论文第一章介绍了度量学习的研究背景和意义,对度量学习的原理进行了分析。同时,第一章还介绍了度量学习的研究现状,剖析了几种目前最先进的度量学习算法,发现度量学习理论存在的不足,提出研究内容。第二章探讨了度量学习与支持向量机分类器结合使用的可能性,研究了一种基于支持向量机分类的度量学习算法。首先,该章节对K近邻分类器和支持向量机分类器进行了全面的分析和比较,同时探讨了两者和度量学习的关系。其次,该章节构建了基于马氏距离的径向基函数核,分析了该函数核的性质并与其他函数核进行了性能比较。再次,该章节提出了一种学习基于马氏距离的径向基函数核的度量学习算法,将度量学习和支持向量机参数的学习融入到同一框架下。同时,该章节还提出了一种压缩表示法,提高处理高维数据的效率。另外,该章节引入了有向非循环图策略来解决多类别数据的情况。该章节所提出的算法有效地将度量学习与支持向量机分类器结合起来,有效地解决了支持向量机核函数选取困难的问题。在标准数据集上的实验结果证明了算法的高精确度和稳定性。第三章探讨了如何建立在实际应用中普遍适用的度量学习模型的问题。首先,该章节研究了Logdet散度的性质和物理意义。其次,该章节详细阐述并比较了三种训练约束,并肯定了三元约束的优越性。在此研究基础上,该章节提出了一种使用三元约束的基于Logdet散度的度量学习算法,在提高算法性能的同时降低了保守性。该章节也使用了压缩表示法来处理高维数据的情况,以损失少许精度为代价大幅地减少计算时间。该章节的另一个创新点是提出了一种动态三元约束构建策略,该策略使得每个循环都能选择最有效的三元约束进行马氏矩阵的训练。这些工作使得该章节所提出的度量学习算法有着很好的性能表现和很强的适用性,在标准数据集上的实验结果证明了算法的先进性。第四章研究了对动态特征样本进行度量学习的问题。首先,该章节对时间序列进行探讨,并对已知的多变量时间序列的相似性测量方法进行了比较。其次,该章节研究了一种基于马氏距离的动态时间规整算法,用于测量多变量时间序列的相似性。同时,该章节提出了一种用于多变量时间序列的距离度量学习模型,该算法可以高效地学习基于马氏距离的动态时间规整算法中所需要的马氏矩阵。该章节首次将度量学习算法应用于动态特征样本的学习与分类。实验证明,与经典方法相比,该算法有一定的先进性。第五章研究了将所提出的三种度量学习算法应用到新的应用领域上。第一个应用是人脸表情识别,该章节提出了一种基于度量学习的人脸表情识别框架。该框架使用行为单元来描述人脸表情的几何特征,并使用所提出的三种度量学习算法学习用来测量行为单元相似性的马氏距离函数。第二个应用是图像检索,该章节提出了一种基于度量学习的图像检索框架。该框架使用金字塔视觉单词直方图方法提取图像的外观特征,并使用第三章所提出的度量学习算法进行马氏距离的学习,通过对测试图像与库中图像的马氏距离进行排序获得检索结果。该章节研究的第三个应用是基于数据驱动的故障检测,提出了一种基于度量学习的故障检测框架。该框架从训练信号中构建多变量时间序列片段,并使用单类别度量学习算法进行马氏距离以及边际阈值的学习,使用测量信号提取的多变量时间序列片段与测试信号进行马氏距离测量,判断测量信号是否为故障。实验结果证明了本章所提出的算法框架的先进性。
【学位授予单位】：哈尔滨工业大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP181
，

本文编号：1262513