多分类支持向量机的研究
发布时间：2021-04-06 18:03
支持向量机最初是为解决二分类问题被提出的,适用于小规模数据集学习.如何有效地将其推广到解决大规模多分类问题,是一个既有趣又有挑战性的课题.本文首先梳理了一对多、一对一、一对一对余和一次性求解策略这四种多分类策略.分析了这四种策略下的8个经典多分类支持向量机算法,并绘制分类效果示意图方便直观理解原理.接着,结合L2,p范数和两种多分类编码（one-hot编码和正余弦编码）,提出一种基于一次性求解策略的新型多分类算法L2,p范数多分类支持向量机（L2,p-norm multi-class support vector machine,L2,p MSVM）p≥1.L2,p MSVM的最优化问题通过交替迭代更新变量和序列最小最优化-牛顿法（sequential minimal optimization-Newton’s method,SMO-NM）算法进行快速求解.通过数值实验研究L2,p MSVM各项参数的最优取值.最后,将L2,p MSVM与8个经典多分类支持向量机算法进行对比.实验结果表明,当p=2时,L2,p MSVM具有较好的泛化性、计算复杂度和稀疏性.当p=2.5时,L2,p MS...
【文章来源】：华东师范大学上海市 211工程院校 985工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图２．１两种传统线性支持向量机分类示意图??Ｆｉｇｕｒｅ?２．１?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?ｄｉａｇｒａｍｓ?ｏｆ?ｔｗｏ?ｔｒａｄｉｔｉｏｎａｌ?ｌｉｎｅａｒ?ＳＶＭｓ??
?＞?〇．??（ＴＷＳＶＭ?－?１）?ｍｉｎ?＾?＼＼Ｘ＾ｗ＾?＋?｜｜２?＋??祕一ｉ力一ｉ＾＋ｉ?２??ｓｕｂｊｅｃｔ?ｔｏ?Ｘ＾ｗ＿ｉ?＋?ｅ＋１６＿！?＞?ｅ＋１?—?＾＋１，??Ｃ＋ｉ?＞?〇？??其中Ｘ±１、Ｃ７±１和分别表示训练集中两类样本的输入、惩罚参数和松??弛变量，ｅ±１分别表示长度为该类训练样本个数的元素全为１的向氤目标函数??的几何意义是每个超平面应离该类所有样本点较近，而约束条件和惩罚参数规??定每个超平面与另一类所有样本点的函数距离要尽苽能地大ｆ?１．图２．２为线性??ＴＷＳＶＭ分类示意图．??１「?口?□?Ｉ?｜?Ａ?－１?类??０９－?！?□?＋１?类??ｎ?—＋１类分类超平面??ｎＲ?１?口丨?＿?＿?＋１类支持超平面??ｎｎ?，??１分类超平面??－ｔ?么?Ａ｜二｜Ｌ｜??？－遇严?口：?＾?／ａ??口?Ｓ？?Ｈ?攀?Ｉ??－Ａ??ｂＩ?：４?Ａ??□口：?：??］ｉ??０．１?－?□＊?Ｉ??Ｉ?Ｉ??０?０．２?０．４?０．６?０，８?１??图２．２线性ＴＷＳＶＭ分类示意图??Ｆｉｇｕｒｅ?２．２?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?ｄｉａｇｒａｍ?ｏｆ?ｌｉｎｅａｒ?ＴＷＳＶＭ??上述问题往往转化为对偶问题来求解：??（ＴＷＳＶＭ?＋?１）?ｍｉｎ?－ａｌ１Ｑ（ＰＴＰ）－１ＱＴ（ｘ＋ｉ?－??＜＊ｌ＊?２?（２．３）??ｓｕｂｊｅｃｔ?ｔｏ?０?＜?ｏｌ＋ｉ?＜?（７＋ｉｅ＿ｉ．??（ＴＷＳＶＭ?—?１）?ｍｉｎ?＾－ａ，Ｊ＾１Ｐ（ＱＴＱ）＋１ＰＴｃｘ－ｉ?—?ｅＬｃ＾－ｉ??ａ－１?２?
ｔｏ?—（Ｋ（Ｘ－ｉ＾Ｘ）ｗ＋ｉ?＋?ｅ＿ｉ＆＋ｉ）?＞?ｅ＿ｉ?—?＾－１，?（２．１０）??“＞〇．??（ＴＷＳＶＭ－ｌ）?ｍｉｎ?毒丨陣—１；?Ａ＞—丄?＋?ｅ—Ｊ２?＋?Ｃ—??ｗ－ｉ，ｂ－ｉ４＋ｉ?Ａ??ｓｕｂｊｅｃｔ?ｔｏ?Ｋ｛Ｘｊｒｌ＾Ｘ）ｗ＿１?＋?ｅ＋ｉ６＿ｉ?＞?ｅ＋ｉ?—?ｈ，?（２１１）??＾＋ｉ?＞?〇？??相应的对偶冋题和最优解表达式只需将式（２．３）、式（２．４）和式（２．５）中的Ｘ±；ｌ用??／（（Ｘ±１，Ｘ）代替即可，决策函数为／⑷＝ａｒｇｍｉｎ?图２．４为非??＋１，－１?ｙ／ｗｌＫ｛Ｘ，Ｘ）ｗｋ??线性ＴＷＳＶＭ分类示意图．??１＿２丨卜－１?类?＾１．２［?＼?／??□?＋１?类?／?＼?／?／?□?＋１?类??１—分类超平面?／?－?１?－?ｄ＼?／?／?—＋１类分类超平面??（今５＞支持超平面?／?？?）?（?／??１类分类超平面??０，８＾?ｉｉｒｉｇ?／?＠?—?〇ｓ－?Ｄ?□?＼?／?类超平面??：翁秦：：：：零藏??〇＊—＇?＇?＇￣＾￣＇?＇?＇——?〇！——＇?Ｌ＇?＇?＇——??０?０：２?０．４?０．６?０．８?１?０?０．２?０．４?０．６?０．８?１??图２．３非线性支持向量机分类示意图?图２．４非线性ＴＷＳＶＭ分类示意图??Ｆｉｇｕｒｅ?２．３?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?Ｆｉｇｕｒｅ?２．４?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ??ｄｉａｇｒａｍ?ｏｆ?ｎｏｎｌｉｎｅａｒ?ＳＶＭ?ｄｉａｇｒａｍ?ｏｆ?ｎｏｎｌｉｎｅａｒ?ＴＷＳＶＭ??
【参考文献】：
期刊论文
[1]多分类孪生支持向量机研究进展[J]. 丁世飞,张健,张谢锴,安悦瑄. 软件学报. 2018(01)
[2]支持向量机理论与算法研究综述[J]. 丁世飞,齐丙娟,谭红艳. 电子科技大学学报. 2011(01)
本文编号：3121880
【文章来源】：华东师范大学上海市 211工程院校 985工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图２．１两种传统线性支持向量机分类示意图??Ｆｉｇｕｒｅ?２．１?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?ｄｉａｇｒａｍｓ?ｏｆ?ｔｗｏ?ｔｒａｄｉｔｉｏｎａｌ?ｌｉｎｅａｒ?ＳＶＭｓ??
?＞?〇．??（ＴＷＳＶＭ?－?１）?ｍｉｎ?＾?＼＼Ｘ＾ｗ＾?＋?｜｜２?＋??祕一ｉ力一ｉ＾＋ｉ?２??ｓｕｂｊｅｃｔ?ｔｏ?Ｘ＾ｗ＿ｉ?＋?ｅ＋１６＿！?＞?ｅ＋１?—?＾＋１，??Ｃ＋ｉ?＞?〇？??其中Ｘ±１、Ｃ７±１和分别表示训练集中两类样本的输入、惩罚参数和松??弛变量，ｅ±１分别表示长度为该类训练样本个数的元素全为１的向氤目标函数??的几何意义是每个超平面应离该类所有样本点较近，而约束条件和惩罚参数规??定每个超平面与另一类所有样本点的函数距离要尽苽能地大ｆ?１．图２．２为线性??ＴＷＳＶＭ分类示意图．??１「?口?□?Ｉ?｜?Ａ?－１?类??０９－?！?□?＋１?类??ｎ?—＋１类分类超平面??ｎＲ?１?口丨?＿?＿?＋１类支持超平面??ｎｎ?，??１分类超平面??－ｔ?么?Ａ｜二｜Ｌ｜??？－遇严?口：?＾?／ａ??口?Ｓ？?Ｈ?攀?Ｉ??－Ａ??ｂＩ?：４?Ａ??□口：?：??］ｉ??０．１?－?□＊?Ｉ??Ｉ?Ｉ??０?０．２?０．４?０．６?０，８?１??图２．２线性ＴＷＳＶＭ分类示意图??Ｆｉｇｕｒｅ?２．２?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?ｄｉａｇｒａｍ?ｏｆ?ｌｉｎｅａｒ?ＴＷＳＶＭ??上述问题往往转化为对偶问题来求解：??（ＴＷＳＶＭ?＋?１）?ｍｉｎ?－ａｌ１Ｑ（ＰＴＰ）－１ＱＴ（ｘ＋ｉ?－??＜＊ｌ＊?２?（２．３）??ｓｕｂｊｅｃｔ?ｔｏ?０?＜?ｏｌ＋ｉ?＜?（７＋ｉｅ＿ｉ．??（ＴＷＳＶＭ?—?１）?ｍｉｎ?＾－ａ，Ｊ＾１Ｐ（ＱＴＱ）＋１ＰＴｃｘ－ｉ?—?ｅＬｃ＾－ｉ??ａ－１?２?
ｔｏ?—（Ｋ（Ｘ－ｉ＾Ｘ）ｗ＋ｉ?＋?ｅ＿ｉ＆＋ｉ）?＞?ｅ＿ｉ?—?＾－１，?（２．１０）??“＞〇．??（ＴＷＳＶＭ－ｌ）?ｍｉｎ?毒丨陣—１；?Ａ＞—丄?＋?ｅ—Ｊ２?＋?Ｃ—??ｗ－ｉ，ｂ－ｉ４＋ｉ?Ａ??ｓｕｂｊｅｃｔ?ｔｏ?Ｋ｛Ｘｊｒｌ＾Ｘ）ｗ＿１?＋?ｅ＋ｉ６＿ｉ?＞?ｅ＋ｉ?—?ｈ，?（２１１）??＾＋ｉ?＞?〇？??相应的对偶冋题和最优解表达式只需将式（２．３）、式（２．４）和式（２．５）中的Ｘ±；ｌ用??／（（Ｘ±１，Ｘ）代替即可，决策函数为／⑷＝ａｒｇｍｉｎ?图２．４为非??＋１，－１?ｙ／ｗｌＫ｛Ｘ，Ｘ）ｗｋ??线性ＴＷＳＶＭ分类示意图．??１＿２丨卜－１?类?＾１．２［?＼?／??□?＋１?类?／?＼?／?／?□?＋１?类??１—分类超平面?／?－?１?－?ｄ＼?／?／?—＋１类分类超平面??（今５＞支持超平面?／?？?）?（?／??１类分类超平面??０，８＾?ｉｉｒｉｇ?／?＠?—?〇ｓ－?Ｄ?□?＼?／?类超平面??：翁秦：：：：零藏??〇＊—＇?＇?＇￣＾￣＇?＇?＇——?〇！——＇?Ｌ＇?＇?＇——??０?０：２?０．４?０．６?０．８?１?０?０．２?０．４?０．６?０．８?１??图２．３非线性支持向量机分类示意图?图２．４非线性ＴＷＳＶＭ分类示意图??Ｆｉｇｕｒｅ?２．３?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ?Ｆｉｇｕｒｅ?２．４?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｉｌｌｕｓｔｒａｔｉｏｎ??ｄｉａｇｒａｍ?ｏｆ?ｎｏｎｌｉｎｅａｒ?ＳＶＭ?ｄｉａｇｒａｍ?ｏｆ?ｎｏｎｌｉｎｅａｒ?ＴＷＳＶＭ??
【参考文献】：
期刊论文
[1]多分类孪生支持向量机研究进展[J]. 丁世飞,张健,张谢锴,安悦瑄. 软件学报. 2018(01)
[2]支持向量机理论与算法研究综述[J]. 丁世飞,齐丙娟,谭红艳. 电子科技大学学报. 2011(01)
本文编号：3121880
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3121880.html
