属性学习若干重要问题的研究及应用

发布时间：2017-09-05 11:33

  本文关键词：属性学习若干重要问题的研究及应用

  更多相关文章： 属性 属性学习 属性关系 特征选择 成对约束 代价敏感学习 结构属性 脑影像分类

【摘要】：作为对目标类的一种高层特征描述,属性学习成为近年来机器学习和模式识别领域一个新的研究热点。与传统基于统计信息的低层特征(如颜色直方图等)相比,属性表示具有描述灵活度高、可解释性好、推广能力强等优点。现有研究表明,属性的引入有助于简化数据表示、降低模型复杂度,并显著提高模型的精确度和鲁棒性。虽然属性学习在很多实际问题中取得了良好性能,但仍存在如下几个重要问题有待解决:1)仅考虑了属性和目标类之间的关系,忽略了对属性和属性间(相关)关系的建模;2)没有充分考虑高维特征对属性学习带来的困难;3)没有足够重视属性分类任务中存在的类别不平衡所带来的不利;4)缺乏特定的有效属性表示方法,以对具有明显结构特点的图像进行属性描述。本文围绕属性学习方法中存在的上述若干重要问题进行深入研究,通过充分挖掘和利用与属性相关的先验信息,探讨了属性表示、属性关系学习、属性特征选择和属性分类模型设计等方法,并将上述模型和方法应用于解决目标识别和脑影像分析等实际问题。本文主要贡献总结如下:(1)由于不同属性从不同角度描述了同一目标类,因此这些属性之间存在一定的相关关系。为了从数据中自动挖掘出这种属性关系,本文提出了属性学习一般框架下的自动属性关系学习模型(attribute relationship learning,ARL)。具体地,在ARL模型中利用逆协方差矩阵来反映属性之间的相关关系,并将其作为正则化项置入多属性分类器的联合学习目标之中,实现了属性关系的显式和自动建模。此外,为了充分利用从数据中学习到的这种属性关系,本文设计了一种属性关系嵌入方法,将ARL模型学得的属性关系自然地嵌入到传统(即不考虑属性关系)属性分类器的建模中,以提高传统属性分类器的学习性能。在四个标准属性数据集上的实验表明,所提方法不仅能够精确刻画属性之间的相关关系,而且有助于提高属性分类器在目标类信息严重不充分场景下的学习性能。(2)现有属性学习方法通常利用多种低层特征,而这些低层特征往往维数较高。直接利用这些特征不仅会带来巨大的存储和计算负担,而且会恶化模型的泛化性能。为此,本文提出了一种成对约束诱导的属性特征选择方法(pairwise constraint guided sparse feature selection,CGS),其利用给定的成对属性约束信息对目标进行属性描述,并提出了两个基于成对约束诱导的正则化项用于属性特征选择。进一步地,本文提出了CGS的两种变体,即半监督CGS(semi-supervised CGS,SCGS)方法和集成CGS(ensemble CGS,ECGS)方法。实验结果表明,所提方法可以有效降低属性分类任务中的特征维数,并显著提高了监督和半监督场景下的属性分类性能。(3)现有属性学习方法中,所有目标类通常共享一组公共属性。由于在某些特定属性上可能只有较少的目标类有响应,因此共享属性表示的方法会导致严重的类别不平衡问题。针对这一问题,本文提出了一种双重代价敏感的属性分类模型(two-stage cost-sensitive learning,TSCS),即在特征选择阶段和分类器设计阶段分别引入代价敏感信息。具体地,在第一阶段提出了三种基于代价敏感信息的特征选择方法,旨在选择能使误分类代价最小的特征子集;在第二阶段,利用代价敏感分类器进行属性分类,旨在使分类器不会被大量的负例样本所主导。实验结果表明,与传统方法相比,本文所提方法能在不降低属性分类精度的前提下大幅度降低误分类总代价。(4)现有属性表示方法主要利用语义属性、视觉属性和判别性属性对目标类进行描述,无法对具有明显结构信息的图像进行有效表达。受计算机视觉领域中属性定义方法的启发,本文首先提出脑影像的结构属性表示方法,然后提出一种通过聚类方式自动确定结构属性的算法,并由此形成了一套通用的基于结构属性表示的脑影像分类框架。该框架涉及:1)利用多种结构属性实现对脑影像的特征表示,2)通过关系诱导的特征选择模型进行特征选择,3)通过基于多结构属性的集成分类方法对脑影像进行自动分类等。在标准数据集上的实验验证了所提方法的有效性。
【关键词】：属性 属性学习 属性关系 特征选择 成对约束 代价敏感学习 结构属性 脑影像分类
【学位授予单位】：南京航空航天大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP18
【目录】：

• 摘要4-6
• ABSTRACT6-15
• 第一章 绪论15-27
• 1.1 引言15-16
• 1.2 属性学习16-23
• 1.2.1 基本概念16-17
• 1.2.2 属性学习一般框架17-18
• 1.2.3 研究现状18-21
• 1.2.4 面临的挑战21-23
• 1.3 本文的主要研究工作23-25
• 1.4 本文的内容安排25-27
• 第二章 属性关系自动学习27-45
• 2.1 引言27-28
• 2.2 属性关系自动学习模型28-32
• 2.2.1 动机28-29
• 2.2.2 模型29-30
• 2.2.3 优化算法30-31
• 2.2.4 核扩展31-32
• 2.3 基于属性关系学习的零样本分类框架32-35
• 2.3.1 直接属性预测模型32-34
• 2.3.2 基于属性关系的零样本分类34-35
• 2.4 数据集及实验设置35-37
• 2.4.1 数据集35-37
• 2.4.2 实验设置37
• 2.5 属性分类实验及分析37-41
• 2.5.1 所学到的属性关系38-39
• 2.5.2 属性分类结果39-41
• 2.6 零样本分类实验及分析41-43
• 2.6.1 AWA数据集上的实验41-42
• 2.6.2 TWA数据集上的实验42-43
• 2.7 本章小结43-44
• 本章部分内容出自以下论文44-45
• 第三章 基于成对约束的属性特征选择45-69
• 3.1 引言45-46
• 3.2 特征选择相关工作46-48
• 3.2.1 全监督和半监督特征选择46-47
• 3.2.2 基于成对约束的特征选择47-48
• 3.2.3 基于L1-范数的稀疏特征选择48
• 3.3 成对约束诱导的稀疏特征选择模型48-54
• 3.3.1 动机与建模48-50
• 3.3.2 优化算法50-52
• 3.3.3 半监督扩展52
• 3.3.4 集成扩展52-54
• 3.4 实验及分析54-64
• 3.4.1 数据集54-55
• 3.4.2 实验设置55-56
• 3.4.3 CGS选到的特征56-57
• 3.4.4 全监督分类实验57-59
• 3.4.5 半监督分类实验59-60
• 3.4.6 集成分类实验60-61
• 3.4.7 属性分类实验61-64
• 3.5 讨论64-66
• 3.5.1 参数对实验结果的影响64-65
• 3.5.2 成对约束数目对实验结果的影响65-66
• 3.5.3 与稀疏分类器的比较66
• 3.6 本章小结66-67
• 本章部分内容出自以下论文67-69
• 第四章 双重代价敏感属性分类69-85
• 4.1 引言69
• 4.2 背景知识69-71
• 4.2.1 类别不平衡问题69-70
• 4.2.2 代价敏感学习70-71
• 4.3 双重代价敏感学习71-74
• 4.3.1 动机71
• 4.3.2 框架71-73
• 4.3.3 代价敏感特征选择73-74
• 4.4 实验及分析74-81
• 4.4.1 数据集74-75
• 4.4.2 实验设置75-77
• 4.4.3 双重代价敏感属性分类实验77-79
• 4.4.4 双重代价敏感与单阶段代价敏感分类实验79-81
• 4.4.5 基于代价敏感特征选择的分类实验81
• 4.5 讨论81-83
• 4.5.1 特征选择对实验结果的影响81-82
• 4.5.2 代价比对实验结果的影响82-83
• 4.6 本章小结83
• 本章部分内容出自以下论文83-85
• 第五章 基于结构属性的脑影像分类85-101
• 5.1 引言85-86
• 5.2 脑影像的结构属性表示86-88
• 5.3 基于结构属性的阿尔茨海默病分类88-91
• 5.3.1 一般框架88-89
• 5.3.2 特征提取89
• 5.3.3 特征选择89-91
• 5.3.4 分类器集成91
• 5.4 实验及分析91-98
• 5.4.1 数据集91-92
• 5.4.2 实验设置92-93
• 5.4.3 基于单结构属性的分类实验93-94
• 5.4.4 基于多结构属性的分类实验94-97
• 5.4.5 与当前流行方法的比较97-98
• 5.5 讨论98-100
• 5.5.1 参数对实验结果的影响98-99
• 5.5.2 分类器集成的多样性分析99-100
• 5.6 本章小结100
• 本章部分内容出自以下论文100-101
• 第六章 结束语101-103
• 6.1 本文工作总结101-102
• 6.2 进一步的研究工作102-103
• 参考文献103-115
• 致谢115-117
• 在学期间的研究成果及发表的学术论文117-118

【相似文献】

中国期刊全文数据库 前10条

1 孙霞;郑庆华;;一种面向非平衡数据的邻居词特征选择方法[J];小型微型计算机系统;2008年12期

2 蒋盛益;郑琪;张倩生;;基于聚类的特征选择方法[J];电子学报;2008年S1期

3 王加龙;朱颢东;;结合类别相关性和辨识集的特征选择方法[J];微型机与应用;2009年23期

4 朱颢东;周姝;钟勇;;结合差别对象对集的综合性特征选择方法[J];计算机工程与设计;2010年03期

5 姜慧研;柴天佑;;基于可信间隔的特征选择方法研究[J];控制与决策;2011年08期

6 姚旭;王晓丹;张玉玺;权文;;特征选择方法综述[J];控制与决策;2012年02期

7 王志昊;王中卿;李寿山;李培峰;;不平衡情感分类中的特征选择方法研究[J];中文信息学报;2013年04期

8 张玉红;周全;胡学钢;;面向跨领域情感分类的特征选择方法[J];模式识别与人工智能;2013年11期

9 李敏;卡米力·木依丁;;特征选择方法与算法的研究[J];计算机技术与发展;2013年12期

10 申清明;闫利军;高建民;赵静;;基于混沌搜索的特征选择方法[J];兵工学报;2013年12期

中国重要会议论文全文数据库 前6条

1 徐燕;王斌;李锦涛;孙春明;;知识增益：文本分类中一种新的特征选择方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

2 肖婷;唐雁;;文本分类中特征选择方法及应用[A];2008年计算机应用技术交流会论文集[C];2008年

3 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

4 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年

5 顾成杰;张顺颐;刘凯;黄河;;基于粗糙集和禁忌搜索的特征选择方法[A];江苏省电子学会2010年学术年会论文集[C];2010年

6 王秀娟;郭军;郑康锋;;基于互信息可信度的特征选择方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年

中国博士学位论文全文数据库 前4条

1 刘明霞;属性学习若干重要问题的研究及应用[D];南京航空航天大学;2015年

2 毛勇;基于支持向量机的特征选择方法的研究与应用[D];浙江大学;2006年

3 尹留志;关于非平衡数据特征问题的研究[D];中国科学技术大学;2014年

4 裴志利;数据挖掘技术在文本分类和生物信息学中的应用[D];吉林大学;2008年

中国硕士学位论文全文数据库 前10条

1 曹晋;基于SVDD的特征选择方法研究及其应用[D];苏州大学;2015年

2 张强;静态图像上的行人检测方法研究[D];中国科学技术大学;2015年

3 张晓梅;基于融合特征的微博主客观分类方法研究[D];山西大学;2014年

4 王君;基于SVM-RFE的特征选择方法研究[D];大连理工大学;2015年

5 于海珠;面向文本聚类的特征选择方法及应用研究[D];大连理工大学;2015年

6 赵世琛;文本分类中特征选择方法研究[D];山西大学;2014年

7 王丹;特征选择算法研究及其在异常检测中的应用[D];电子科技大学;2014年

8 林艳峰;中文文本分类特征选择方法的研究与实现[D];西安电子科技大学;2014年

9 卢志浩;基于GEP的kNN算法改进研究[D];广西师范学院;2015年

10 王立鹏;面向图数据的特征选择方法及其应用研究[D];南京航空航天大学;2015年

，

本文编号：797741