基于保留分类信息的多任务特征学习算法

发布时间：2020-03-12 04:22

【摘要】：在模式识别中,特征选择是一种非常有效的降维技术.特征评价标准在特征选择过程中被用于度量特征的重要性,但目前已有的标准存在着只考虑类之间的分离性而未考虑其相关性、无法去除特征之间的分类冗余性以及多用于单变量度量而无法获取子集整体最优性等问题.提出一种保留分类信息的特征评价准则(classification information preserving,CIP),并使用多任务学习技术进行实现.CIP是一种特征子集度量方法,通过F范数实现已选特征子集的分类信息与原始数据分类信息的差异最小化,并通过l2,1范数约束选择特征个数.近似交替方向法被用于求解CIP的最优解.理论分析与实验结果表明:CIP选择的最优特征子集不仅最大程度上保留了原始数据类别之间的相关性信息,而且有效地降低了特征之间的分类冗余性.
【图文】：

分布图,维空间,样本,分布图

冗余；近似交替方向法中图法分类号ＴＰ１８１；ＴＰ３９１特征选择是一种非常有效的降维方法，其旨在从原始数据中选择一组具有较高区分能力的特征组成特征子集［１］，从而达到降低维度以及提高精度的目的［２］．特征评价准则在特征选择过程中必不可少，被准则评价为优秀的特征会被加入到特征子集中而成为降维空间的一个维度，而非优的特征会被淘汰．Ｆｉｇ．１Ｄｉｓｔｒｉｂｕｔｉｏｎｓｏｆ２－ｄｉｍｅｎｓｉｏｎａｌｉｎｓｔａｎｃｅｓｂｅｌｏｎｇｉｎｇｔｏｔｈｒｅｅｃｌａｓｓｅｓ图１３类样本在２维空间的分布图目前常见的特征评价准则在通常情况下多用于单变量度量，其缺点在于无法保证选出的特征子集的最优性．首先，对某些类别具有高辨识度的特征不能被选出．如图１（ａ）所示，特征ｆｉ能较好地分离类别１和类别３，却不能辨识属于类别２的样本．同样，特征ｆｊ能较好地辨识类别２，但无法辨识类别１和类别３．所以在使用单变量评价准则的特征选择中，ｆｉ与ｆｊ会由于不能有效识别所有类而被赋予较低的权重，从而被淘汰．然而，在由２个特征组成的子空间中，所有样本均可以被正确识别，如图１（ｂ）中直方图所示．这归因于ｆｉ与ｆｊ对不同的类别具有互补的识别性能，而这种互补性在单变量度量中往往被忽视．其次，特征之间的高度冗余性也是造成单变量度量标准选出的特征子集往往比预期性能要差的原因．冗余特征意味着其所包含的分类信息已包含于其他已选择的特征中，无法提供新的有价值的分类信息［３］．而单变量度量往往无法排除掉这类特征．Ｆｉｇ．２Ｃｏｒｒｅ

分布图,维空间,样本,分布图

冗余；近似交替方向法中图法分类号ＴＰ１８１；ＴＰ３９１特征选择是一种非常有效的降维方法，其旨在从原始数据中选择一组具有较高区分能力的特征组成特征子集［１］，从而达到降低维度以及提高精度的目的［２］．特征评价准则在特征选择过程中必不可少，被准则评价为优秀的特征会被加入到特征子集中而成为降维空间的一个维度，而非优的特征会被淘汰．Ｆｉｇ．１Ｄｉｓｔｒｉｂｕｔｉｏｎｓｏｆ２－ｄｉｍｅｎｓｉｏｎａｌｉｎｓｔａｎｃｅｓｂｅｌｏｎｇｉｎｇｔｏｔｈｒｅｅｃｌａｓｓｅｓ图１３类样本在２维空间的分布图目前常见的特征评价准则在通常情况下多用于单变量度量，其缺点在于无法保证选出的特征子集的最优性．首先，对某些类别具有高辨识度的特征不能被选出．如图１（ａ）所示，特征ｆｉ能较好地分离类别１和类别３，却不能辨识属于类别２的样本．同样，特征ｆｊ能较好地辨识类别２，但无法辨识类别１和类别３．所以在使用单变量评价准则的特征选择中，ｆｉ与ｆｊ会由于不能有效识别所有类而被赋予较低的权重，从而被淘汰．然而，在由２个特征组成的子空间中，所有样本均可以被正确识别，如图１（ｂ）中直方图所示．这归因于ｆｉ与ｆｊ对不同的类别具有互补的识别性能，而这种互补性在单变量度量中往往被忽视．其次，，特征之间的高度冗余性也是造成单变量度量标准选出的特征子集往往比预期性能要差的原因．冗余特征意味着其所包含的分类信息已包含于其他已选择的特征中，无法提供新的有价值的分类信息［３］．而单变量度量往往无法排除掉这类特征．Ｆｉｇ．２Ｃｏｒｒｅ

【相似文献】