当前位置:主页 > 医学论文 > 生物医学论文 >

支持向量机(SVM)及其在心电图(ECG)分类识别中的应用

发布时间:2016-12-23 02:22

  本文关键词:支持向量机(SVM)及其在心电图(ECG)分类识别中的应用,由笔耕文化传播整理发布。



y 1091'700
}e∞业∞∞t∞

**目一一一
四川师范大学 硕士学位论文

支持向量机(svM)及其在心电图(ECG)分类 识别中的应用
唐孝

培养单位——塑堂与筮址拄堂一堂』L—一 指导教师 .职称——塑蛊—— 墓蟹立

々业名称一垦垂堂兰撞剑逾—— 研究方

向——尘血国迟剧
论文完成日期—2业L生—卫JL如——且——一

支持向量机(SVM)及其在心电图(ECG)分类 识别中的应用
运筹学与控制论专业

研究生唐孝

指导教师莫智文(教授)

本文研究了基于支持向量机算法的心电图分类,创造性地提出了利用支持
向量机l-v-1 SVMs(One-Versus—One)算法对心电图进行分类的方法。并通

过MIT—BIH心电数据库进行实例分析,获得了较高的识别率,且在算法模型的
构造和分类速度上优于常规方法。

在引言中介绍了论文的研究目的与意义,ECG识别的现状及支持向量机的
研究进展。 在第一章中,介绍了心电图的常识与测量方法。

在第二章中,概要总结了统计学习理论与支持向量机方法的基本理论。
在第三章中,结合支持向量机对EgG多分类问题进行了研究并提出了一系

列的分类方法和特点以及采用支持向量机进行分类的优势。 在第四章中,分析了各种方法的优劣,最终选取利用支持向量机卜v—l
SVMs(One—Versus—One)算法对心电图进行分类.先确定了算法的模型,然后

选取合适的核函数和参数,并通过MIT-BIH心电数据库进行了实例分类试验。
最后对全文进行了总结,并指出了下一步研究的问题与方向。 关键词: 多类分类支持向量机心电图分类 特征提取

Support Vector Machine and its application in Electrocardiogram Classification
Specialty Operation Research and Cybernetics

MSC Candidate:Tang

Xiao

Supervisor:Mo

Zhiwen

This

dissertation

investigates

electrocardiogram classification based

on

Support Vector

Machine algorithm.And

this paper puts forward 1-v?1 algorithm of classification in


Support Vector Machine for

electrocardiogram

creative way.In

order to verify the system’S stability and creditability,We used database to test
otlr

American MIT-BIH

algorithms and won higher accuracy.it is better than normal

way in constructing algorithm model and classification speed. The purpose,meaning,current situation of ECG classification progress of SVM are concerned in foreword.

and

research

In Chapter One,the general knowledge and measure of electrocardiogram are

concelmed.
Chapter Two is to summarize the basic theory of Statistical Learning Theory

and algorithm

ofSupportVector Machine.

In Chapter Three.the problem ofmulti-classes classification ofECG link with
Support Vector advantages that

Machme is studicd.A scries of classification methods features
tls堍Support
Vector Machine to

and

elassi黟are

put forward.

Chapter Four is the

cor0

of this paper,in

which,the

advantage
at

and

disadvantage ofthe

series ofclassification methods are

analyzed.We

last choose

1.vs-l algorithm of Support Vector

Machine

for electrocardiogram classification.

First,model of the algorithm is ascertained.Then the reasonable kernel function and parameter
are

chosen.We

used American MIT-BIH database to test

our

algorithms and won
for the next study is

hi曲er accurac y.After summarizing this paper,a
presented.

new guideline

Key words:Multi?Classes Classification,Support Vector Machine,
ECG Classification,Feature Extraction

四川师范大学学位论文独创性
及使用授权声明

研究工作所取得的成果。除文中已经注明引用的内容外,本论文不含任何其他
个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个

本人声明:所呈交学位论文,是本人在导师瓣指导下,独立进行
本人承诺:已提交的学位论文电子版与论文纸本的内容一致。如因不符而

人和集体,均已在文中以明确方式标明。

引起的学术声誉上的损失由本人自负。

本人同意所撰写学位论文的使用授权遵照学校的管理规定: 学校作为申请学位的条件之一,学位论文著作权拥有者须授权所在大学拥
有学位论文的部分使用权,即:1)已获学位的研究生必须按学校规定提交印

刷版和电子版学位论文,可以将学位论文的全部或部分内容编入有关数据库进 行检索;2)为教学和科研目的,学校可以将公开的学位论文或解密后的学位 论文作为资料在图书馆、资料室等场所或在校园网上供校内师生阅读、浏览。

论文作者签名:赢玄
2007年≯月夕抄日

引言
从1903年Einthoven采用弦线式电流机设计开创了心电图的临床应用开

始,心电图就成为医生心脏疾病诊断中的一个高效的技术。通过计算机设备对
采集到的心电信号进行分析,已经广泛地应用于心脏的功能检查、心血管疾病 的诊断与预防以及心电监护等多方面。 QRS波群检测是心脏病诊断和心电监护的重要方法。在心电信号的分析中。 最为首要和关键的问题是QRS波群的检测,不仅是诊断心律失常的重要依据, 而且只有在确定QRS波群后,才有可能计算心律、心律变异性,检测sT段的参

数,并进一步地检测和分析心电的其他细节信息,才能对其进行分类等操作。 对QRS波群检测方法的研究已有不少学者做了大量工作,但他们至今在某 方面还不完善,特别是在干扰严重或非典型R波等情况下检测错误率较大。由 于采集信号时位置、大小的不同和心脏的解剖性质,让心电图即使对同一个正 常人也具有高度的可变性:同时,心电信号向体表传导的不同方式也起着重要
的影响作用。由于ECG表现出来的这些巨大的变化,使得运用这个工具进行诊 断具有很强的直觉性和主观性,因此对ECG模式的解释变得非常困难。 早期的心电监护系统由于其自身的限制,需要护理人员人工进行长时间地

观察,往往会使护理人员因为视力疲劳和注意力分散造成漏检。五十年代末以 来,随着计算机的发展,人们开始了对心电自动分析技术的研究。1959年
Piberger等人完成了一个可以区分正常和异常心电图的程序,并于1961年首

先研究出导联心电图分析程序。六十年代初,Caseres验证了用计算机进行常 规12导联ECG分析的可能性,开发了利用测得的平均ECG参数进行波形模式识 别的程序。经过许多人的努力,到了七十年代后期,微处理器技术的高度发展更 加促进了心电自动分析技术的研究。装配了微处理器的心电自动分析装置大大 提高了心电数据处理的速度和一致性,并增加了心律监护的种类,提高了准确
率。

目前常用的QRS波群的检测方法主要集中在几个方面:滤波器法、模板匹 配法、小波分析法、滤波器组法、神经网络法等,还有幅度法、低斜率法和面 积法。QRS波的检测算法检测率比较高,但由于噪声污染和一些病理波形,检测
率仍不尽人意,尚有很多工作可做。肌电干扰,基线漂移,工频干扰是心电信号

中噪声的主要原因,很难彻底去除,混杂这些干扰的心电图在实际中很普遍,若 能去除这些干扰,就能在很大程度上提高QRS波的检测率。 心电图分析是检测出心电周期中的各波形,然后进行模式分类的过程.对 检测出的特征进行直接的应用,就是对这些特征进行分类,判断出心电图中所 包含的病理特征,从而帮助进行疾病监控与功能检测。 目前常用的分类方法有:多元统计、模糊逻辑、神经网络、决策树、Bayes

分类、K近邻分类、专家系统等方法。从80年代后期开始,由于神经网络技术 的发展,神经网络的自学习的功能、抗干扰及解决复杂问题的能力,引起医学技
术领域的注意。Tsai等用ECG波形的功率谱密度函数PSD训练三层网络来识

别5种不同的ECG类型.训练好的网络识别正确率达到92.5%。Dokur、Olmez 等设计了一种混合神经网络。并采用遗传算法对网络结构进行调整。近年来, 国内许多专家学者也对神经网络用于心电分类进行了研究,特别是王继成、吕 维雪等设计了一系列神经网络方法进行了分类研究,包括模糊神经网络、回归
神经网络、符号神经网络等,取得了较好的结果,分类正确率大致控制在60%到 98%之间。 V.Vapnik等人早在20世纪60年代就开始研究小样本情况下的机器学习

问题。。3。当时这方面的研究尚不十分完善,且数学上比较艰涩,大多数人难
以理解和接受,直到90年代以前还没有能够提出将其理论付诸实现的方法。 加之当时正处在其他学习方法飞速发展的时期,因此这方面的研究一直没有得 到足够的重视。直到90年代中期,小样本下的机器学习理论研究逐渐成熟起

来,形成了较完善的理论体系——统计学习理论(Statistical

Learning

Theory)。而同时,神经网络等新兴的机器学习方法的研究则遇到了前所未有 的困难阳】。在这种情况下,试图从更本质上研究机器学习问题的统计学习理
论逐步得到重视。

统计学习理论是建立在坚实的理论基础之上的,为解决小样本学习问题提
供了统一的框架。统计学习理论的核心是vc维与结构风险最小化理论,它用 VC维来描述学习机器的复杂度,并以此为出发点导出了学习机器推广能力的 界的理论。该理论致力于寻找在小样本情况下学习问题的最优解,而不需要样 本数趋于无穷大的渐进性条件。这使得统计学习理论在小样本情况下同样能得

到具有推广价值的知识。

1992年至1995年,在统计学习理论的基础上发展出了一种新型的学习机 器——支持向量机(Support
Vector

Machine简称sⅧ)。支持向量机是建立

在统计学习理论的vC维理论和结构风险最小原理基础上的,根据有限的样本 信息在模型的复杂性和学习能力之间寻求最佳折衷,以期获得最好的推广能 力。支持向量杌被看作是对传统分类器的一个好的发展,在解决小样本、非线 性和高维的机器学习问题中表现出了许多特有的优势。 SVM方法是由Vapnik及其合作者Boser、Guyon、Cortes及Scholkopf在
AT&T

Bell实验室共同创造与发展起来的一种新方法‘州。近年来,许多关于

SVM方法的研究,包括算法本身的改进和算法的实际应用,都陆续提了出来。 其中在理论上主要以Vapnik及其研究小组做了大量开创性及奠基性的工作
(g-lO]


目前,S%f方法在模式识别、回归估计、概率密度函数估计等方面得到了

广泛的应用。’tt-13]。例如,在模式识别方面,手写字体识别,语音识别,面部 检测,文本识别等应用“’”1,SⅧ方法在精度上已经超过传统的学习算法。如 Pontil等人将SVM应用与三维物体的识别“”,Fukuda及ZhaoQun等人利用SvM 进行SAR自动目标的识别“”,Kim等对纹理图像进行了有监督分割啪1。SVM在 医学图像分割中的应用,如Issan等人利用SVM分类器从超声图像中识别病变
组织““,Mangasarian等利用铃SVM进行了乳腺癌的识别与诊断。”。

随着SVM理论的逐步完善,应用越来越广泛,这几年SVM在国内越来越受 到重视。国内主要以张钹,张学工等一批在SVM理论上做了一些研究,当然大 部分学者还是以应用为主,或针对SVl4中的不足之处进行改进,或将SVM与其 它方法进行综合应用。

第一章心电图常识与测量
心脏机械收缩之前。心肌先产生电激动。这种电流能通过组织和体液传导 至体表。在身体不同部位的表面形成电位差,将这种变动的电位差用心电图机
纪录下来即为心电图(E1ectrocardiograph,简称ECG)渊。

1.1常规心电图
常规心电图是从体表观察心脏生物电活动的无创性检查技术。每次心脏搏 动,包括心房和心室的顺序机械性收缩和舒张,称为一个心动周期。与机械运
动相对应的心电活动,包括心房和心室的电收缩期(除极和复极)和舒张期(静

息期),构成一个心电周期。心脏的电活动发生在机械运动之前,先有电的兴 奋激动,后有机械收缩运动,它们之间有一部分时间重叠,是“电(兴奋)一机 械(收缩)耦联”关系。心脏的电激动过程影响着全身各个部位,使体表的不同 部位发生了电位差,产生了电动力。在心电周期的整个过程中,此电位差也在 不间断地变动。通过心电图机把这变动的电位差记录成曲线,就是心电图。

1.2常规导联系统
常规心电图的获得离不开导联系统。导联就是在人体表而任何两点放置两 个电极,将导线与心电图仪的正输入端与负输入端相连,从而描记出这两点闻 的心电电位差变化,电极放置的部位不同,可组成各种导联。目前,在临床实 践中通常采用“12导联系统”进行心电检测。下面首先对12导联系统进行说
明。

1、双极标准肢体导联

共三个电极,组成三个导联(I、II、III)(如图L l所示),反映的是两个 肢体问的电位差。例如:在导联I,当左上肢(接正极)电位高于右上肢(接负极) 时,记录得正电压,即向上的波;反之则记录得负电压,即向下的波。以下各
导联依此类推。 导联I:左上肢接正极,右上肢接负极。



导联II:左下肢接正极,右上肢接负极。

导联III:左下肢接正极,左上肢接负极。

健?健-恼
辅l 硎l
图1.1双极肢导联的连接法

2、加压单极肢体导联(如图1.2)
可以比较“单纯”地反映不同肢体电极所在部位心脏电激动的情况。

aVR导联:右上肢连接正极,左上肢和左下肢共同连接负极。
“L导联:左上肢连接正极,右下肢和左下肢共同连接负极。

aVF导联:左下肢连接正极,左上肢和右上肢共同连接负极。

呤伊诞
●VR -VL-Vr

图1.2加压单极肢导联的连接法

3、单极胸导联

将中心电端(接近零电位)连接负极,把连接正极的探查电极安放在心前区 不同的位置。胸导联的电极距离心脏较近,受到面对的那部分心肌的局部电位 影响较为明显,所以胸导联除了一般地反映心脏电激动的综合心电向量以外, 电极面对的那部分心肌所给予的局部电位影响也不容忽视(如图1.3、1.4).

图1.3单极胸导联的连接法

图1.4胸导联探察电极位置

K:胸骨右缘第4肋间。 巧:在圪与圪连线之中点。

圪:胸骨左缘第4肋间。 ■:左第5肋间锁骨中线处?

以:左腋前线上与K同一水平。圪:左腋中线上与■,K同一水平。
常规心电图是由一系列“波组”构成的曲线图,如图1.5所示。

图1.5典型心电图

P波:代表左右心房的除极过程。其起点表示从窦房结发出的电激动己到 心房,使心房开始除极:其终点表示两心房全部除极完毕。P波波顶圆钝、光

心房,使心房开始除极;其终点表示两心房全部除极完毕。P波波顶圆钝、光

滑、有时可能有小切迹,但应(O.04秒。P波的整个时间应(0.11秒,其肢导 联振幅<0.25毫伏,胸导联直立振幅应<O.15毫伏。 P-R间期:自心房开始除极至心室开始除极的间隔时间。代表从窦房结发 出的电激动经结间束激动心房后由房室交界区、房室束、束支及蒲肯野纤维到 达心室,使心室开始除极。PR问期正常值范围一般为0.12—0,20秒。
P-R段:相当于激动通过房室结及房室束的总时间(亦即P波终点到R波或

Q波起点这一节段)。其起点表示心房除极完毕,其终点表示心室除极开始。 心电图上描出的为一等位线,在这段中可埋藏着心房复极波—Ta波,多被ORS
波所覆盖。

QRS波群:反映左、右心室除极的全过程。典型的ORS波群,包括3个紧 密相连的波:第1个向下的波称为Q(或q)波;第1个向上的波称为R(或r波);
以后向下的波称为S(或s波)。s波以后向上的波称为R’(或,’)波;R’波后向

下的波称为S’(或J’)波,依此类推。如果仅有向下的波称为Qs波。ORS波群 中振幅较大的波用Q,R,S分别代表,振幅较小的波用q’r,s分别代表。QRS
时限代表心室除极所需时间,正常为0.06—0.10秒。 sT段:代表心室除极终了到心室复极开始在体表产生电位差以前的一短 暂瞬间。正常人在等位线上,但亦可轻度偏移。

T波:反映心室复极过程产生的电位变化,又称心室复极波。一般其间期
为0.05-0.25秒,振幅愈高,间期愈长。

铲T间期:从ORS波起始至T波终末的时间。代表心室除极和复极的总时 间(即心室的电收缩时间),与心率快慢有关。其一般值为0.39+0.04秒。 U波:又称后电位,一般认为是心室舒张的机械佳结果,由心室牵张时形 成的后电位产生。亦有认为与心肌传导纤维或乳头肌的复极有关。其振幅为 0.05—0.2毫伏,宽度<O.27秒. TP段:代表心室的电收缩期(除极与复极)完毕到下一个心电周期心房开 始除极的时间。此段为心室的电舒张期(静止期),处于心电图等位线上。 图1.6给出了一组正常人的十二导联常规心电图。



.~』,乙j,’一三,^—I/.一j,‘—■^—0,、—-,j—^l九
。。j八立,.j。。土九.3。立人j^工,、。^几.

椭.k—J.—匕一曼/o—J√L—a一,L—J■,、—~L^—^0^—^L~....L^。一

.o.....。t,,—..J.,....上.。—.^....上..——.JL—,。—_』~j.~一女.
。k。,p、.~,j,,4

”111叶叶111叶一
}i


”j..f4…i,。’ f i

九队一毒’ 一玑Ⅺ、、◇V,.过&。趴。

。L执少 b∑∑∑心∑jjb。



儿^iA.L上一且一且.厶一^l乙^i九h一
图1.6正常人的12导联常规心电图

1.3心电图的测量
记录心电图是在印有纵横细轴方格坐标纸上直接描记。横向坐标表示时 间,以秒为单位。当记录纸速为25毫米/秒时,竖分格l毫末=0.04秒。纵向
坐标表示电压,以毫伏为单位。当心电图机定准电压为10毫米/毫伏时,横分 格1毫米=O.1毫伏。

对心电图进行测量时,波幅的大小以毫伏为单位计算,时间宽度以秒为单
位计算。 电压(振幅):测量向上的振幅时,从基线的上缘量至波峰顶进行计算;

测量向下的波幅时,从基线的下缘至波底进行计算。 ST段移位时,以相邻的两个P-Q段作为基线和S-T段相比较进行测量。 S—T段高于P—Q段基线为S_T段上升,S-T段低于P-Q段基线为S—T段下降。

测量时,以P-Q段基线的上缘和S1段基线的上缘相比较计算,或以p-Q段基
线的下缘和S—T段基线的下缘相比较计算。

时间(宽度):选择波形比较清晰的导联,从波的起始至全波的终末进行
测量。

心率:测量p-p或R—R间隔,代表一个心脏激动周期的时间,每分钟心房
或心室率按下列公式计算;

每分钟心率=万j两压三茜丽

P波:从P波的起始量至P波的终末,P波是QRS波群前面的一个比较显
著的波。

QRS波群:如有Q波即从Q波的起始量至QRS波群的最后一个波的终末, 如没有Q波就从R波的起始量至QRS波群的最后一个波的终末。ORS波即是心 电周期中最高、最陡峭、最尖锐,总之是最显著的波。 T波:从1.波的起始量至,F波的终末。T波是ORS波群后面的一个比较显
著的波。

P-R见期:自P波的开始量至ORS的开始。如果QRS波群最初为Q波,即
从P波的开始量至Q波的开始。如果ORS波群没有Q波,即从P波的开始量至 R波的开始。

Q.T见期:自QRS波群的开始量至T波的终末。如果QRS波群有Q波,就 从Q波的开始测量:如果QRS波群没有Q波,就从R波开始测量。 VAT:室壁激动时间,是心室肌至内壁向外壁进行除极所需要的时间,在 心电图中是指自QRS波的开始至R波的顶峰点所经历的时间.测量时,从Q 波(如无Q波则从R波开始)的起点划一条垂直线,再从R波的顶点划一条垂
直线,两垂直直线之间的宽度即为“室壁激动时间”。

通常,P、T波形比起QRS波群来要平滑的多,P波、QRS波群、T波的交 替出现就构成了整个心电周期。如果心电图出现异常,将会出现更复杂的心电
图,是计算机自动分析出现困难。

由于生理或病例原因,可以引起波形出现各种各样的变换,其中以QRS
波群改变最多。


当然,心电图只是一种协助诊断工具,同一种疾病可有不同类型的心电图

变化,而不同的疾病有相似的心电图表现。

lO

第二章统计学习理论与支持向量机
2.1

机器学习的基本问题

2.1.I传统学习理论的困难

机器学习从本质上来说就是建立输入模式空间与输出模式空间的函数映 射关系,通常把表达这种映射关系的函数统称为学习机器。学习机器最主要的 性能是其学习能力和推广能力。所谓学习能力是指学习机器调整其自身参数使
之适应训练样本集的能力。推广能力是指学习机器从当前训练样本上学到的知

识(映射关系)的普遍性能力。
(1)小样本问题

传统统计学主要研究渐迸理论,即当训练样本数趋向无穷大时的解决方 案。但是在实际问题中,可用的样本数通常是有限的,因此渐进性的前提条件 往往得不到满足。这是包括参数估计和神经网络等在内的学习机器的一个根本 问题。在所有问题中,这类学习机器所遇到的问题基本上都可以归结到渐进性 前提。在所有问题中,最直接的就是小样本问题。传统统计学应用经验风险最 小化原则来优化学习机的参数。但是理论表明,经验风险与实际之间具有一定 的差异。在小样本情况下,这种差异尤其明显。由于训练样本数的限制,基于 经验风险最小化原则的学习机器在实际应用中普遍存在推广能力不足的问题。 工程实际中,对解决小样本学习问题的有效方案有着迫切的需求。例如,在心 电图分析中,对于疾病分类在实际过程中很难获得,往往只能专家通过交互式 的方式手工得到。在这种情况下,通过基于渐进性分析的学习机器就很难得到
有价值的、具有推广意义的知识。 (2)高维问题

传统的学习机器在高维情况下往往不能正常工作。比如神经网络,当训练 样本维数很高时,神经网络的测试和训练结果可能会出现较大的随机性,究其
原因,首先,神经网络(例如BP网络)的解往往收敛于局部极值,由于在高

维空间中可能存在众多的局部极值,不同局部极值存在较大的差异,因此神经 网络的解必然呈现随机性。其次,‘高维问题与小样本问题是紧密联系的,样本 数的多少是相对的,比如,在低维空间中,只要很少数量的样本就可以比较充

分的描述整个样本空间。而在高维空问中,为了同样程度的描述样本空间,所 需要的样本数以指数形式增长。另在运算方面,当特征空间的维数增大时,神 经网络的运算量将急剧增长,从而使训练和测试过程非常慢。因此,传统学习

机器在实际的应用中,通常需要特征约筒,将数据压缩到较低维的空间中,才 能有效地进行学习。 (3)局部极值问题 传统学习机器的优化过程容易出现陷入局部极值的问题。如神经网络最常 见的优化方法是梯度修正算法。梯度修正算法本身只保证找到目标函数的局部 极值,同时局部极值逼近全局最优解的程度并没有理论上的保证。当然,有些 设计者设计了可以跳出局部极值的算法,虽然在实际应用中取得了较好的结
果,但是仍然很难得到全局最优。

与传统统计学相比,统计学习理论(Statistical

Learning

Theory或SLT)

是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问 题建立了一套新的理论体系,这种体系下的统计推理规则不仅考虑了对渐进性 能的要求,而且追求在现有有限信息的条件下得到最优结果。V.Vapnik等人 从六、七十年代开始致力于此方面研究,到九十年代中期,随着其理论的发展
和成熟,也由于神经网络等学习方法在理论上缺乏实质性的进展,统计学习理

论开始受到越来越广泛地重视。同时,在这一理论基础上发展了一种新的通用

学习方法——支持向量机(Support

Vector

Machine或SVM),已初步表现出

很多优于各种传统方法的性能。目前,统计学习理论和支持向量机已经成为国 际上机器学习领域新的研究热点。本章将对其基本理论进行概要地介绍。

2.1.2机器学习问题的描述 机器学习问题可以看作是,通过某种训练方法,对某一系统的输入与输出

之间的依赖关系进行估计,并且期望这一估计可以对任意给定输入尽量准确地 进行输出预测‘””。 假设变量y与x之间存在一定的未知依赖关系,即遵循某一未知的联合概 率,F(x,y),(x和y之阗的确定性关系可以看作是其特例),机器学习闯题就

12

是根据r1个独立同分布观测样本(‘,M),(屯,y2),...,(矗,只),在一组函数

{/U,印)j中求出一个最优的函数,(x,%)对依赖关系迸行估计,使期望风险

R(m)=p(乃厂(石,脚))d!F(与力

(2—1)

最小?其中,{f(x,∞)l称作预测函数集,印Eo为函数的广义参数,L(y,f(x,脚))
为由于用f(x,∞)对Y进行预测而造成的损失。不同类型的学习问题有不同形 式的损失函数。预测函数也称做学习函数、学习模型或学习机器。 例如,对模式识别问题,系统给出Y是类别标号。两类分类情况下Y={o’1)
或{一1,1}是二值函数,预测函数称作指示函数,损失函数可以定义为:

洲删={:}臻鬈:
使式(2-1)中的期望风险最小就是Bayes决策中使错误率最小。 2.1.3经验风险最小化

∞,

在上面的问题表述中,学习的目标在于使期望风险最小化,要计算式(2一1) 中的期望风险,必须依赖关于联合概率的信息F(x,y)的信息,在模式识别中 就是必须已知类先验概率和类条件概率密度。但是,由于我们可以利用的信息
只有有限的样本,式(2-1)中的期望风险无法宣接计算和最小化。因此传统的 学习方法中采用了所谓经验风险最小化准则,即用有限的样本定义经验风险:

R。=吉喜地,胞,硼(2-3)
来逼近式(3—1)定义的期望风险,用对参数脚求经验风险R。,(功的最小值代替 求期望风险月如)的最小化,就是所谓的经验风险最小化原则.

事实上,用经验风险最小化准则代替期望风险最小化没有经过充分的理论

论证,只是直观上合理的想当然做法,但这种方法却在多年的机器学习方法研 究中占据了主要地位。人们多年来将大部分注意力集中到如何更好地对经验风 险最小化。而实际上,即使可以假定,当n趋向于无穷大时,式(2.3)趋进于
式(2-1),而在很多实际问题中,样本数目也离无穷大相去甚远,那么在有限 样本情况下,采用最小化经验风险准则,得到的结果能使真实风险也最小吗?

要得到这个答案,需要了解统计学习理论对采用经验风险最小化准则解决期望
风险最小化问题的前提,如果这些前提不成立时,需要找到更合理的准则。

3.1.4模型复杂度与推广能力

人们将学习机器对未来输出进行正确预测的能力称作推广能力。在传统学
习理论中,人们总是把注意力集中到如何使经验风险最小,但是一味追求训练

误差小并不能得到好的预测效果。在某些情况下。训练误差过小。反而会导致
推广能力的下降,即真实风险的增加,这是神经网络中的过学习问题。之所以

出现过学习现象,一是因为学习样本不充分,二是学习机器设计不合理。理论 表明,经验风险与期望风险之间具有一定的差异,在小样本情况下,这种差异 尤其明显。由于训练样本数的限制,基于经验风险最小化准则的学习机器在实
际应用中普遍存在推广能力不足的问题。 究其原因,是试图用~个十分复杂的模型去拟合有限的样本,导致丧失了

推广能力。在神经网络方法中,若对有限的样本来说网络学习能力过强,足以 记住每个样本,此时经验风险很快就可以收敛到很小甚至零,但却根本无法保
证它对未来样本能给出好的预测。学习机器的复杂性与推广性之间的这种矛盾 同样可以在其它学习方法中看到。

由此可看出,1)经验风险对学习机器的性能有一定的影响,但不起决定 作用。经验风险最小并不一定意味着期望风险最小;2)复杂度高的学习机器, 往往具有较低的经验风险。因此,经验风险最小化准则的结果,将使学习机器 变得越来越复杂。3)学习机器的复杂度对其性能有较大的影响,学习机器的 复杂性不但与所研究的系统有关,而且与有限数目的样本相适应。
14

因此。如何根据实际问题。在学习机器的经验风险与模型复杂度之间取得
合理的折衷,从而使机器学习具有更高的推广能力,需要一种能够指导我们在 小样本情况下建立有效的学习和推广方法的理论。

2.2统计学习理论
2.2.1学习机器的vc维

为了描述学习机器的容量。Vapnik和Chervonenko提出了vc维概念
(Vapnik—Chervonenko Dimension)。

模式识别方法中vc维的直观定义是:对一个指示函数集,如果存在h个 样本能够被函数集中的函数按所有可能的26种形式分开,则称函数集能够把h 个样本打散:函数集的VC维就是它能打散的最大样本数目h。着对任意数目 的样本都有函数能将它们打散,则函数集的vc维是无穷大。 VC维反映了函数集的学习能力,vc维越大则学习机器越复杂(容量越大)。
遗憾的是,目前尚没有通过的关于任意函数集vc维计算的理论,只确定了一

些特殊的函数集的vc维。比如在n维实数空间中线性分类器和线性实函数的 vc维是n+l,对于一些比较复杂的学习机器(如神经网络),其vc维除了与函 数集(神经网结构)有关外,还受学习算法等的影响,其确定更加困难。但是,
在实际应用统计学理论时,可以通过变通的办法巧妙地避开直接求VC维的问 题。

2.2.2推广性的界

统计学习理论从vc维的概念出发,推导出了经验风险与实际风险的关系, 即称作推广性的界,它是分析机器性能和发展新的学习算法的重要基础。

对于指示函数集f(x,功),如果损失函数Q∽m)=上(乃厂“蝴为一般的有
界非负实函数,即OsQ(x,口)≤B,冤目有如下的结论:

定理2.1对指示函数集中的所有函数(包括使经验风险最小的函数),经

验风险R。。(国)和实际风险R(回之间至少以概率1一,7满足如下关系:

酬飒扣)+≯Be.+√-+%导)
其中



s:4二二—L—=_j
上式中,h为函数集的Vc维,n为样本数。
对于损失函数为无界函数的情况,也有相应的结论。

矗(1n丝+1)一lIl翌

(2.5)

这一结论从理论上说明了学>-j机器的实际风险是由两部分组成的:一部分 是由经验风险(训练误差);另一部分称作值信范围,它和学习机器的Vc维及
训练样本数有关。可以简单地表示为:

R(m)≤R。,(国)坝》

,l

(2-6)

上式中置信范围庐随;增加,单调下降。即当芋较小时,置信范围妒较大,
用经验风险近似实际风险就存在较大的误差,因此采用经验风险最小化准则,

取得的最优解可能具有较差的推广性;如果样本数较多,;较大,则置信范围


就会很小,采用经验风险最小化准则,求得的最优解就接近实际的最优解。 在有限的训练样本情况下,当样本数n固定时,此时学习机器的vc维越 高(学习机器的复杂性越高),则置信范围就越大,此时,真实风险与经验风 险之间的差别就越大,这就是为什么出现过学习现象的原因。机器学习过程不
但要使经验风险最小,还要使其vc维尽量小,以缩小置信范围,才能取得较 小的实际风险,即对未来样本有较好的推广性,它与学习机器的VC维及训练 样本数有关。

2.2.3结构风险最小化

经验风险最小化方法是目前绝大多数模式识别方法的基础,其定义为训练 集上的平均错误率,用于对整个样本集的期望风险进行估计,它建立在样本数 目足够多的前提下,致使各种方法只有在样本数趋向无穷大时,其性能才有理 论上的保证。而在现实世界的应用中,这一前提并不总能被满足,这时大多数
16

次类方法都难以取得理想的结果。 由2.2.2节中的推广性的界可知;影响期望风险上界的因子有两个方面: 首先是训练集的规模n,其次是VC维的h。可见,在保证分类精度(经验风险)

的同时,降低学习机器的vc维,可以使学习机器在整个样本集上的期望风险 得到控制,它就是结构风险最小化(Structure
的由来。
Risk

Minimization,简称SvM)

由vc维的讨论可以看到,经验风险和期望风险依赖于学习机器函数族的 选择。把函数集J=矿O,∞),∞∈Q)分解为一个函数子集列,
毛cj2c…c吼c…cs,

(2—7)

使各个子集能够按照置信范围≯的大小排列,也就是按照vc维的大小排列,


啊s如≤…≤以≤…,

(2—8)

所谓结构风险最小化,便是构造一组嵌套的函数子集,使得其vc维由内 向外依次递增,然后在其上寻找经验风险和置信范围之和最小的子集,从而使

得实际风险的上界最小化,如图2.1所示

17

风险

一围
磷署瓢铲‘毛
vC维:^s噍≤岛
图2.1 结构风险最小化示意图

基于结构风险最小化准则的统计学理论是一种专门研究小样本的统计理 论,它为研究有限样本下的统计模式识别,并为更广泛的机器学习问题建立了 一个较好的理论框架,同时也发展出了一种新的模式识别方法——支持向量 机t从而能够较好地解决小样本的学习问题。

2.3支持向量机原理
支持向量机方法是Vapnik等人根据统计学习理论提出的一种新的机器学

习方法,它以结构风险最小化准则为理论基础,通过适当地选择函数子集及其
该子集中的判别函数,使学习机器的实际风险达到最小,保证了通过有限训练 样本得到的小误差分类器,对独立测试集的测试误差仍然较小。因而,是一个 具有最优分类能力和推广能力的学习机器。

2.3.1

线性可分的最优分类面

(1)最优分类面

支持肉量枧是从线性可分情况下的最优分类面发展焉来的,基本思想可用

图2.2来说明。对于一维空间中的点,二维空间中的直线,三维空间中的平面,
以及高维空间中的超平面。图中实心点和空心点代表两类样本,Ⅳ为它们之

间的分类超平面,日。、鸥分别为各类中离分类面最近的样本且平行于分类面
的超平面,它们之问的距离△叫做分类间隔(margin).



Hz

图2.2最优分类面示意图

当分类面发生变化时,分类阈蕊△也会随之发生变化。反之给定△的值也 可以确定相应的分类超平面(也可能对应着许多超平面,统称为超平面集合)。 按照文献“““1,在△间隔下,超平面集合的vc维h满足下面关系:

叫(吉)
分类间隔越大。则对应的分类超平面集合的VC维就越小。

(2?9)

其中,厂(.1是单调增函数,郎h与△2成反比关系。因此,当训练样本给定时,

最优分类面就是要求分类面不但能将两类样本正确分开(训练错误率为 0),而且要使两类的分类间隔越大.根据结构风险最小化原则,前者是保证经 验风险最小,而后者使分类间隔最大,导致VC维最小,实际上就是使推广性
的界中的置信范围最小,从而达到使真实风险最小.

分类面方程为wrz+6=0,如果线性可分,则样本集“,乃),

i=l,…,月,x∈Rd,ye{+l,-1},满足

咒[w7x+6=o]-1=0,i=1,..m(2-10)
此时分类间隔等于2州wl,使分类间隔最大等价于使0wll2最小。满足条件

式(2-10)且使圭o wJl2最小的分类面就叫做最优分类面,如图2.3所示为各分类
面与最优分类面的示意图,其中q、z‘上的训练样本点就称作支持向量。

图2.3分类面与最优分类面示意图

(2)优化求解

在线性可分情况下,在结构风险最小化准则下的最优超平面问题,可以表
示为如下的约束优化问题。即在条件(2.10)的约束下,求函数

矿(w)=判wIl2
的最小化。为此,可以定义如下的Lagrange函数:

(2.11)

mM=抑2一喜q{M[w饥㈣]-l}
其中,a。≥0为各样本对应的Lagrange系数。

㈣2)

求解(2.t2)的最小值,可以令该泛函对W和b求偏导,并令它们等于0, 就可以把上述求最优分类面的问题转化为较简单的对偶问题,即:在约束条件

∑Mq=o
1=I

(2一13)

岛≥O

i=I,...,群

(2-14)

下,求下列函数最大值时的解al:

Q(口)=∑q一去∑qq只乃(而?_)
i=1

(2?15)

-I.j=l

a;为原问题中与每个约束条件(3.1 o)对应的Lagrange乘子。这是一个不 等式约束条件下二次函数优化的问题,存在唯一解。容易证明,解中将只有一 部分(通常是少部分)ai不为零,对应的样本就是支持向量(SV)。
若仉‘为最优解,则最优分类面的权系数向量为:

w.=∑口『。乃而
^E5P

(2?t6)

即最优分类面的权系数向量是训练样本中支持向量的线性组合。得到支持向量 及权向量w.后,分类器中的阀值b‘,可以通过两类中任意一对支持向量取中 值求得。

b+=妄【w‘J’(1)+w’x’(_1)】(2?17)


其中,r(1),x’(-1)分别表示两类中任意一个支持向量。
(3)构造判别函数

有前面获得的支持向量及相关参数后,就可以求得上述问题的最优分类判
别函数为:

,(工)=sgn{(w"?x)+6)=sgn{∑ai+乃(而?力+6’)

(2?18)

Z1

2.3.2线性不可分的最优分类面

上面的方法是保证训练样本在线性可分的情况下,全部样本能被正确地分
类,即经验风险R。。为0的前提下,通过对分类间隔最大化,使分类器获得

最好的推广性能。若训练样本是线性不可分的,或事先不知道它是否线性可分, 可以通过引入非负松弛变量毒i=1,2,¨.,/'/来允许错分样本的存在。这时约束
(2—10)变为:

咒l(w7?墨)+6 I—l+缶≥0,f=1,…月

(2.19)

容许错分的分类超平面称作软间隔分类超平面,如图2.4所示,表示训练 集在线性不可分的情况下软间隔分类超平面示意图。由于允许存在错分样本, 此时的软间隔分类超平面表示在剔除那些错分样本后最大分类间隔的超平面。 此时,最小泛函由式(2-11)变为:

加固=扣[12+Cf窆卣1


(2-20)

\f-I



其中,c>0是一个自定义的惩罚因子,它控制对错分样本惩罚的程度,用来 控制样本偏差与机器推广能力之间的折衷。c越大,惩罚就越大,对错分样本
的约束就越大。

q2 日
’j


日l
jj

\ \j-
_ 一


'●






‘>、\鞭\?-t 。。’\\。V\\
’\





。’?./\




爿一分类超平面,w—分类面的法矢量,△一分类间隔

日。,鸥一与曰平行且过两类样本中离日最近的点的超平面
图2.4线性不可分情况下软间隔分类超平面示意图

用与求解最优分类面的同样的方法求解式(2.20)的优化问题,同样得到一

个求二次函数的极值问题,其结果与线性可分情况下得到的式(2.13)一式
(2一Is))L乎完全相同,只是条件式(2.14)变为 osq≤c,f=1,2,…,玎(2-21)

2.3。3支持向量机 前面介绍了在线性分类情况下,如何求解最优超平面。而在实际分类问题 中,分类问题往往是一个非线性的问题,理想的分类面应该是非线性的。对非 线性问题,可以通过非线性变换,将非线性问题转化为某个高维空间中的线性 问题,在变换后的高维空间中求其最优分类面。1.支持向量机处理非线性问题

的方法是,首先将训练样本集从原始模式空间经过特定函数的非线性变换,映
射到高维特征空间,然后,在高维特征空间中,寻找最优分类超平面,该超平 面实际上对应着原始模式空间中的非线性分类面,如图2.5所示。因此,支持

向量机方法在处理非线性问题时,仅比线性情况多了一个非线性映射环节。假
定该非线性映射为

x斗伊(x)(2-22)
则式(2.15)中的优化问题就可以转变为

Q(口)=∑aj一去∑qqM乃p(而)妒(一)

(2?23)

---?_-◆



图2.5输入空间和特征空间所对应的样本和分类面不意图

式(2-22)的非线性变换可能比较复杂,使式(2-23)的计算非常困难以致不
易实现。但是注意到,在上面的对偶问题中,训练算法仅使用高维特征空间中 的点积,即伊(‘)伊(x,),而没有单独的映射伊(t)出现。因此,如果能够找到一 个函数K使得 K(xt,J,)=伊(而)伊(工,)(2-24)

这样,在高维特征空间中,实际上只需进行内积运算,而这种内积运算是

可以用原空间的函数来实现的,我们甚至没有必要知道变换映射p(?)的形式。

根据泛函的有关理论,只要一种内积函数足(t,■)满足定理2.2中的Mercer
条件“‘21。它就对应某一变换空间中的内积.

定理2.2(Mercer条件)对于任意的对称函数K(x,z’,它是某个特征空

间中的内积运算的充分必要条件是,对于任意的妒(石)≠o且勋20)办<o。,有

J弘(州弦(神妒取9dxdx’>o(2-z5)
因此在求最优分类面时,采用适当的内积函数图文,xj)就可以实现某一非 线性变换后的线性分类,而计算复杂度却没有增加,此时目标函数(2-15)与式
(2—23)变为

Q(妨=∑q一去∑色乞咒乃足(一,xj)
而相应的最优分类面的判别函数式(2-18)也变为

(2—26)

/(石)=sgn(∑aTyiK(xi,力曲‘)

(2?27)

我们称式(2.24)的内积为核函数。核函数K(x。y)将高维特征空闻中内积运 算转化为低维模式空间上一个简单的函数计算。较常用的核函数有线性核

K(x,z)=xrz,多项式娴∽却“啦高斯觚㈣=oxp(一睁],
其中d为多项式的阶数,盯为高斯分布的宽度。 SVM是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概

率测度的定义及大数定律等,因此不同于现有的统计方法.从本质上看,它避 开了从归纳到演绎的传统过程,实现了高效的从训练样本到预测样本的“转导
推理”(transductive inference),大大简化了分类问题。SVM的最终决策函

数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是 样本空问的维数,这在某种意义上避免了“维数灾”。如果说神经网络方法是 对样本的所有因子加权的话,SVM方法是对只占样本集少数的支持向量样本 “加权”。当预测因子与预测对象之间蕴涵的复杂关系尚不清楚对,基于关键 样本的方法可能优于基于因子的“加权”。

第三章基于支持向量机的ECG分类方法和特点
3.1

基于支持向量机的ECG分类方法

支持向量机方法从本质上说是一种两类学习算法,只能解决两类分类问
题。而在心电图的分类中,心电数据是一个高维的非线性的多分类问题,因此 有必要采取一定的策略使支持向量机可以处理这样的多类分类问题。基本的方 法有如下四种: (1)一对一方法

假设有11_类样本(n>1),每两类样本构造一个支持向量机分类器,对于
某个输入测试样本,依次用每个支持向量机分类器去分类,每次都保留所属类

号,然后再用与这一类有关的支持向量机分类器去分类,如此循环,直到遍历 完与某类相关的所有支持向量机分类器而类属不变,或遍历完所有支持向量机
分类器为止,最终的类号就是测试样本的类属。’”。这种策略需要构造nCn一1)/2 个支持向量机,测试时,最少需要测试n次,最多需要测试nCn.1)/2次。这种

策略的优点是训练简单,但测试比较复杂。
(2)一对多方法 假设有n类样本(n>1),每一类与其余类构造一个支持向量机分类器,

对于某个输入测试样本,依次用每个支持向量机分类器分类,若属类为某类类 号,则停止;若属于其它类,则继续,直到类属是某个类号为止,最终的类号 就是测试样本的类属…1。这种策略需要构造n个支持向量机分类器,测试时,
最少需要测试1次,最多需要测试n次,因此,这种策略的优点是测试简单, 但是训练比较复杂。 (3)基于决策树方法

基于决策树方法将多类分类问题分解为一序列的二值分类问题,这些二值
分类分布于决策树的各个节点上。“zl y,如图3.6所示,是一棵多类分类决策树。









图3.6多类识别决策树

决策树上的每一个节点将一个多类混合的子集分为两个小一点的多类混
合子集或是一个单类(树的叶子)。这里,多类混合的集合是所有类别{1,2,...,N)


中特征相对相似的类别组成的一个子集。每一个决策点都有两个儿子。树的叶
子表示单个类别,不需要再分。 决策节点的分类任务由其输入边和输出边所决定。如图3.6所示,根节点 的输入边是{A,B,C,D,E,F),所以该节点要完成一个6类分类任务。其输出边

(儿子)标记以{A,B,C}(左儿子)和{D,E,F)(右儿子)。表示这个节点上 的支持向量机要将样本分成{A,B,C)和{D,E,F)两大类。为此,{A,B,C,D,E,F) 中所有的样本类别标签都要重新标记。类别A,B和C的样本标记为l,D,
E及F的样本标记为.1。然后用两类支持向量机方法进行训练分类函数。以此 类推,直到所有叶节点。

基于决策树方法的缺点在于可操作性不强,有时需要认为的预先定义数据 子集。离使用尚有很大的距离。
(4)全局优化分类方法

全局优化分类方法直接解一个含多类问题的优化问题。通过改写Vapnik
的二类分类中SVM的目标函数,建立一个含多类的目标函数,使其满足多类 分类问题的需要…。

方法类型 一对多 一对一 全局优化 决策树

训练代价
一般 较小 较大 较小

预测代价 较大 一般 较小

正确率 一般 一般 较高 较高

可操作性 较好 较好 一般 较差

一般

表3.1多类分类方法比较

3.2支持向量机方法特点 在统计学习理论的基础上发展出了一种新型的学习机器——支持向量机
方法,在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优
势。

支持向量机方法成功地解决了小样本、高维和局部极值问题。传统统计学 应用经验风险最小化准则来优化学习机器的参数。由于训练样本数的限制,基 于经验风险最小化的学习机器在实际应用中普遍存在推广能力不足的问题。而 建立在统计学习理论基础上的支持向量机方法,以结构风险最小化准则为优化
参数,使用了大间隔因子来控制学习机器的训练过程,使其只选择具有最大分 类间隔的分类超平面,又叫最优超平面(在不可分情况下,又引入松弛因子来

控制经验风险),从而使其在小样本的情况下,满足分类要求的条件下,具有 较高的推广能力。寻找最优超平面的过程最终转化为二次型优化问题,从理论 上说,得到的是全局最优解。与传统的学习机器不同的是,支持向量机方法是 将原始的模式矢量映射到高维的特征空间,仍然使用大间隔因子在高维特征空 间中寻找最大间隔超平面。事实上,高维特征空间中的超平面对应着原始模式
空间中的非线性分类面。实际上,支持向量机的优化过程并没有在高维空间中

进行,而是通过一些具有特殊性质的核函数,将高维空间中的内积运算转化为
原始空间中核函数的运算,从而巧妙地避免了在高维空间中处理问题的困难。

支持向量机方法的几个主要特点为: 1.支持向量机方法是基于统计学习理论的结构风险最小化准则,与传统的

方法类型 一对多 一对一 全局优化 决策树

训练代价 一般 较小 较大 较小

预测代价
较大

正确率 一般 一般 较高 较高

可操作性 较好 较好 一般 较差

一般
较小

一般

表3.1多类分类方法比较

3.2支持向量机方法特点
在统计学习理论的基础上发展出了一种新型的学习机器——支持向量机 方法,在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优
势。

支持向量机方法成功地解决了小样本、高维和局部极值问题。传统统计学 应用经验风险最小化准则来优化学习机器的参数。由于训练样本数的限制,基 于经验风险最小化的学习机器在实际应用中普遍存在推广能力不足的问题。而 建立在统计学习理论基础上的支持向量机方法,以结构风险最小化准则为优化 参数,使用了大间隔因子来控制学习机器的训练过程,使其只选择具有最大分 类间隔的分类超平面,又叫最优超平面(在不可分情况下。又引入松弛因子来 控制经验风险),从而使其在小样本的情况下,满足分类要求的条件下,具有 较高的推广能力。寻找最优超平面的过程最终转化为二次型优化问题,从理论
上说,得到的是全局最优解。与传统的学习机器不同的是,支持向量机方法是

将原始的模式矢量映射到高维的特征空间,仍然使用大间隔因子在高维特征空 间中寻找最大间隔超平面。事实上,高维特征空间中的超平面对应着原始模式 空间中的非线性分类面。实际上,支持向量机的优化过程并没有在高维空间中 进行,而是通过一些具有特殊性质的核函数,将高维空间中的内积运算转化为 原始空间中核函数的运算,从而巧妙地避免了在高维空间中处理问题的困难。 支持向量机方法的几个主要特点为: 1.支持向量机方法是基于统计学习理论的结构风险最小化准则,与传统的

机器学习方法不同,它不仅使经验风险最小而且通过寻找最大间隔分界面来控 制模型的复杂度,从而有效地避免了过拟合现象,为模型选择的问题提供了很
好的思路。 2.它是专门针对有限样本情况下,其目标是得到现有信息下的最优解而不 仅仅是样本数趋于无穷大时的最优解。

3.支持向量机方法最终转亿为在线性条件下的凸二次优化问题,从理论上 说,找到的极值点是全局最优点,解决了在神经网络方法中无法避免的局部极
值问题。

4.支持向量机方法将实际问题通过非线性映射变换到高维的特征空间,在 高维空间中,通过构造线性判别函数来实现原空间中的非线性判别,特殊性质 能保证机器有较好的推广能力,同肘它巧妙地解决了维数问题,这在一定程度
上解决了特征维数过大所导致的维数灾难问题。

5.SvM方法具有较好的“鲁棒性”,这种鲁棒性表现在多方面。首先是同 一个样本集,增删非支持向量的样本对决策集没有影响:其次是对同一问题的 不同样本集,所建模型有一定的稳定性;最后是核函数,很多实验表明,SVM
方法对核的选取不敏感,同一问题应用不同核都可以得到接近的效果,不同核

下建立的支持向量机往往包含同样的支持向量。 统计学习理论具有较为坚实的理论基础,它为解决小样本问题提供了一个

统一的框架。在这一理论基础上发展起来的一种新的通用学习方法一支持向

量机,已初步表现出很多优于传统方法的性能。该算法的理论基础——结构风
险最小化原则,是在对小样本情况下模式识别中的一些根本性问题进行了系统

地理论研究后得出的,这使得支持向量机能够在很大程度上较好地解决了以往 困扰机器学习方法的一些问题,如模型选择问题i过学习问题、非线性问题和


维数灾难问题等。

从支持向量机算法及凸优化的知识不难得出该算法的一些主要特点:(1) 非线性映射,是SvM理论的基础;(2)在高维特征空间寻找最优超平面,是 SVM的目标;(3)求出支持向量,是SⅥ订的结果;(4)二次规划,是计算
支持向量的手段。

目前,支持向量机在部分领域已进入了实用阶段(如气象预报)。一些学

3l

者认为,统计学习理论和支持向量机正在成为继神经网络研究之后新的研究热 点,并将推动机器学习理论和技术的发展。本章概要总结了统计学习理论及支

持向量机的基本理论与基本方法,以及支持向量机对多类分类问题的解决方
法,它是下一章研究的基础。

第四章

基于支持向量机的ECG分类

心脏疾病是威胁人类生命健康的主要疾病之一,进行心电信号(ECG)的
检测诊断一直是临床医学上诊断心脏病变的常规检测手段之一。ECG信号是从

人体表面记录心肌细胞电活动的情况,它携带了很多反映心脏工作状况的信
息,是临床诊断中不可缺少的依据。ECG中有用信号的正确提取是对心血管疾 病的正确诊断的前提。利用ECG信号可以监测心率和识别各种心率失常,调制

心律,诊断心肌梗塞并测定梗塞的程度.研究心脏病变的机理。因此,,心电图
的计算机自动分析一直是医学工程领域的研究热点。对QRS波的分类主要有两

大类:基于特征的分类方法和基于波形形态的分类方法。由于QRS波的特异性 和变异性较大,其分类结果不甚理想。基于特征的分类方法受波群变异及噪声
的影响较小。但它的准确性是建立在正确的特征提取基础上的;基于形态上的 分类方法有相关波形法(CWA)、直接ECG特征检测法、傅立叶变换法、功率谱 分析法、复杂度测量法、TLS(Total
Least

Squares)prony建模法、自适应

卡尔曼滤波器法、使用LPC系数和模糊ARTflAP神经网络分类法等。目前这些 方法在实际应用中,大多数仍需人工辅助处理。为了提高精度,许多学者正试 图寻求更优的方法。文献。73率先将SVM方法引入到ECG分类中,并通过实际临 床心电数据在SW不同的核函数上做了比较分析,然而文献Ⅱ钉并没有给出对
ECG分类的识别率,而仅仅是纵向比较了取两类不同核函数得到的结果;另一

方面,文献o”是以一组临床数据来作的分析,对于临床数据而言,其本身就具
有不确定性,故以临床数据作为分析数据不具有足够的说服力。本文提出基于 支持向量机卜v—I算法的ECG分类方法,并通过MIT-BIH心电数据库进行实例

分析,获得了较高的识别率,且在算法模型的构造和分类速度方面优于常规方 法。

4.1支持向量机对心电信号的分析处理
心电专家对心电图的解释可以分为两个阶段:1).特征信息提取:从心电 图中提取心电波形,各波的幅值和间期等信息;2).根据提取的心电图特征信 息,心电专家解释心电信号。所以,目前主要用于心电图分析的方法有基于向

量测量和句法分析的方法。基于向量测量的方法由三个阶段组成:1).预处理,

其中包括数据压缩、模拟或数字滤波、线性或非线性变换等;2).特征选择/
提取,其中包括特征的选择、特征的提取;3).分类,根据提取的心电图的特

征信息,对心电图进行分类。同样基于句法分析的方法也是由三个阶段组成: 1).预处理;2).把心电图模式转换成字符串描述;3).根据预先定义的规则, 通过测试心电图的字符串描述,完成心电图模式分类。下面是心电图计算机自
动分析流程:

图4.1心电信号计算机自动分析流程

4.2支持向量机1-v-1算法模型
该方法在每两类间构件一个分类面,因此对于k类问题则需要构造 k(k-1)/2个分类函数。为了区分第i类和第j类样本,需要解如下最优化问
题:

rain捌w”112+c∑影
_,一,。‘r 厶t

[∥,一】+69≥l一∥,矿乃=‘(4.1)
【∥,x‘】+6”≤-1+∥’,矿M=J

∥≥o,
相应的分类函数为:

s切([∥,x】+69)(4-2)
当对一个未知样本分类时,每个分类器都要对类别进行判断,并为相应的 类别“投上一票”,最后得票最多的类别即为该未知样本的类别,这种策略称 为“投票法”。采用这种方法的支持向量机,简称1.v-1 SVMs算法。

4.3支持向量机1-v-J算法核函数的选取
核函数是SVM模型建立的一个主要问题,目前多项式核函数、高斯径向 基函数和Sigmoid函数是三种常用的核函数,除此之外,其它还有指数型径向 基函数、傅立叶级数、B样条核函数、张量积核函数等。 (1).多项式核函数 K(x,葺)=【(工?玉)+1r q是多项式的阶数。 (2).高斯径向基函数 (4?3)

‰细卜呼]
(3).Sigrnoid函数 (4).指数型径向基函数

一q

K(x,薯)=tanh[y,(x?西)+c,】(4-5)

撕,=唧(一紫)
其中,x,x’是输入向量,下同。 (5).傅立叶级数


㈤,

sin0V+毒)(x—x9
r(x,并’=————丁JL————一 (4-7)

sin(寺(x—x∞


(6).B样条核函数 X(x,x3=垦Ⅳ。(x—x’ (7).张量积核函数
(4—8)

X(x,x9=n局似,而’


(4—9)

我们以径向基函数(满足Mercer定理条件, 又称高斯核。简记为RBF)

作为核函数建立推理试验模型。径向基函数形为:

‰,:唧f-学1
在分类分析中,基于RBF核求得的最终决策函数形为:

…∞

M(x)=sgn(∑ayfK(x,xA+b)
一ss

nt支磊量…xpf-匕笋]+6)
支持刚量

…-,



‘,



其中玉为作为支持向量的样本因子响亮;x为待预报因子向量;q,6为建 立SVM模型待确定的系数,/-为核参数,求和运算P,xt支持向量进行。

4.4支持向量机--V--I算法参数的确定
SVM中可供调整的参数较少,其模型的确立主要是核函数的形式及参数, 如采用多项式核函数就是要确定q,对于高斯径向基核函数则是要确定仃。对 于分类问题,标准的SVM的另一个可调节的参数是惩罚系数C。 我们利用CMSVM建模软件平台,采用逐步筛选的方法确定参数。首先 设置较大的参数取值范围,对参数进行大间隔步长的循环取值,通过训练和测 试,依据评分准则确定在这种状况下建立的最优SVM分析模型所对应的参数
值;再以此参数值为中心,设置较小的参数范围,以小间隔步长重复上述步骤,

直至最终确定出用于建立SVM分析模型的理想参数值,进而确定分析模型。 (4.1I)中的参数盯由逐步筛选方法确定,at和b为建摸过程中依据约束条件
自动生成,不需人为选择。

4.5结论
4.5.1

支持向量机l-v-1算法分类试验结果

这里采用的样本心电图数据为MIT-BIH心电数据库文件T101.dat中第12

秒到14秒数据段的心电采样点数据,采样率为250Hz,见表4.1

由于心电图的条件属性都是连续值,因此必须先进行离散化,按下表进行 离散化。

Values NO.

属性 一阶 差分

















<一44

[-“。一10】

[一10,0)

(0,10】Clo。30)[30,80】>80

2 3

一阶 <一37.6[一37.6,0)[O,一41.2][41.2,80)≥80 差分

表4.1

心电图一阶差分和二阶差分的离散化方法

U l l 2 3 4 5 6 7 8 9 10 2 2 3 3 4 4 5 4 5 3 2 2 1 2 1 0 O O O O l 3 l 2 2 2 6 6 6 4 2 2 2 2 O O O 0 O O 5 2 l l l 3 4 2 4 2 4

条件属性
6 1 2 2 2 4 4 4 4 4 2 7 2 2 2 3 l 1 1 1 1 2 8 2 2 1 1 2 2 2 2 2 2 9 3 2 3 2 O O 0 O O l 10 2 l 2 2 4 4 4 4 4 2 1l l 1 1 1 6 6 6 6 6 5 l l l 1 2 2 2 2 2 3





6 4

表4.2

决策表

建模程序采用CMSVMI.0,选取径向基函数作为支持向量机核函数,最优
37

模型中的参数c=100,核参数g=O.001,将样本数据75%作为分类训练样本,20%

作为分类实验样本,5%作为分类检验样本,成功预报率为98.7%。 本文将支持向量机(SVM)1-vs-rest算法首次系统地用于心电图分类; 目前也有人试图将SVM用于心电图自动分析率先将S、,M方法引入到ECG分类
中,并通过实际临床心电数据在SvM不同的核函数上做了比较分析,然而并没

有给出对EcG分类的识别率,而仅仅是纵向比较了取两类不同核函数得到的结 果,并没有给出实际的处理方式和方法仅是在理论方法上提出一种可能。本文 首先分析了该方法存在的理论依据接着选取了支持向量机算法并给出该算法 的模型和相应的核函数及参数,最后通过MIT-BIH心电数据库进行实例分析, 获得了较高的识别率,并在算法模型的构造和分类速度优于常规方法。SVM算 法是将线性不可分的心电信号数据映射到一个高维空间中,在此高维空间中建 构最优超平面。利用超平面进行线性分类。用传统神经网络分类算法BP神经 网络算法,一旦输入矢量的维数增加,其收敛性和错误率就会发生较大改变, 需要随时根据输入改变其网络结构和激活函数的类型。而根据SⅧ分类算法的 性质,如果目标样本数量增大的话,只需适当地增加训练样本的个数同洋能得
保证较好的分类率。

心电数据分类在心脏疾病诊断中发挥着越来越大的作用,对心电数据分类 是诊断心脏疾病的定量信息所不可缺少的手段。心电自动分析技术,即在从人 体上采集到数字化心电信号之后,利用现代信号处理和计算机技术,进行心电 信号上各波、段和间期的检测,并在此基础上进行其它各方面的进一步分析, 实现心电图的诊断,整个过程大多数由计算机自动完成,减少人工的参与以尽
可能避免因人为造成的误检。

4.5.2下一步研究的方向 心电图的计算机自动分析研究是一个长期而复杂的研究过程,要做的工作 还很多,支持向量机是心电图分析中的一个新的研究领域,本文仅是用支持向
量机对心电图分类作了初步的研究,对于支持向量机而言除了分类能力以外还

具有回归分析、特征提取的能力。因此下一步的工作重点为: 1.怎样利用支持向量机对心电信号进行特征点提取?

2.将提取结果利用支持向量机建立起一套心电图自动诊断分析系统。 该系统可以开发出自动分析软件从而直接与心电图机配合使用;在心电图 机将病人的心电数据检测出后直接作为该软件的数据输入,通过该系统先对数 据进行预处理然后特征提取,随之将提取出的特征数据进行分类诊断分析,最 后打印诊断报告。心电图的自动诊断可以将医务人员从烦琐的心电图形分析中 解脱出来,特别指导乡镇中小医院,边远山区医生正确判定患者的疾病种类, 大大提高工作效率。并可开展网上自动诊断各种疾病,有利于人们防治各种疾 病提高全民的身体素质。因而本研究具有很高的经济和社会效益。

参考文献
[1]V.Vapnik.The
-Verlag,1995. Nature of Statistical Learning Theory.New York:Springer


[2]V.Vapnik.Statistical [3】
Barabino

Learning Theory.New York:John Wiley&Sons,1998. A,et a1.Support Vector Machines Verleysen
vs

N,Pallavicini M,Petrolini Perceptrons in

Multi—layer

Particle

Identification.

M.

Proceedings ESANN.Brussels;Dfactron。1999,257_262.

[4]Bartlett

P L,Shawe—teylor J.Generalization Performance of Support

Vector Machines and Other Pattern Classifiers.Scholkopf B,Gwrges C J C,Smola A J,Advances in Kernel Methods—Support Cambridge;MIT Press,1999. Vector Learning.

[5]c.Cortes.V.Vapnik.Support 20(3):273—297. [6]
E.Osuna,R.Freund.and

Vector Network.Machines Learning,1995,

F.Girosi.Support

Vector

Machines:Training

and

Appliciations.Technical Report AIM一1602.MIT A.I.Lab.,1996.

[7]Scholkopf,S.Mika,C.J.C.Burges,et

a1.Input Space vs.Future Space in
on

Kernel—based Methods.IEEE Transactions 1000—1017.

Neural

Network,1999,10(5):

[8]Guyon

and D.G.Stork.Linear Discriminant and Support Vector Classifi—

era.In^.J.SMOLA,P.L Bartlett.B.Scholkopf and D.Schunrmans,editors,
Advances in Large,Margin Classifiers,Cambridge,MA,2000,MIT Press. Tutorial
on

[9]Burges C.J.C.A

Support Vector Machines for Pattern Reco—

gnition.Knowledge Discovery and Data

Mining,1998,2(2):121—167.

[10】s.o.Stitson,J.A.E.Weston.et
Technical Report,1996.

a1.Theory of Support Vector Machines.

[11]Steve

Gunn.Support Vector Machines

for Classficiation and Regression.

IAIS Technical Report.University of Southampton,1998.

[12】A J.Smola,B.Scholkopf.A

Tutorial

on

Support Vector Regression.Neuro

COLT2 Technical Report Series.NC2一TR一1998-030,1998.



[13]v.Vapnik,S.Golowich,A.Smola.Support
—oximation。Regression Neural Estimation,and

Vector Method for Function Appr Signal Processing.In Advances in

Information Processing

Systerms

9,1996.Forthcoming.

[14]B.Scholkopf,S.Kah—Kay,et

a1.Comparing Support Vector Machines with

Gaussian Kenels to Radial Basis Function Classifiers,IEEE trans.Signal Processing,1997,45:2758—2765.

[15]V.Wan,w.M.Campell.Support

Vector Machines for Speaker Verification

and Identification.In Proc.IEEE Workshop Neural Networks for Processing,Sydne,Auetralia,2000,775—784.

Signal

[16]E.Osuna,R.Freund,F.Girosit.Training

Support Vector Machines:An App—

lication to Face Detection.Processing of IEEE Computer Society Confe—
rence on

Computer Vision and Pattern

Recognition,1997,130—136.

[17]T.Joachims.Tranductive

Inference for Text Classification Using the Int.conf.Machine Learning,

Support Vector Machines.Presented at Slovenia,1999.

[18]Pontil

M,Verri A.Support Vector Machines For 3D Object Recognition.

IEEE Trans.on Pattern Analysis and Machine 637-646.

Intelligence。1998,20(6):

[19]Q.Zhao,J.Principe.Support Recognition.IEEE (2):643-654. [20]K.I.Kim,K.Jung,et

Vector Machines

for SAR Automatic Target

Trans.on Aerospace and Electronic

Systerms,2001,37

a1.Support Vector Machines for Texture C1assifi。

ciation.IEEE Trans.On Pattern Analysis and Machine Intelligence,2002,

24(11):1542-1563.



[21]Issam

Ei-Naqa,Y-V Vang,et a1.A Support Vector Machines Approach for

Detection of Microcalcifications.IEEE Trans.On Medical Image,2002,21

(12):1552—1563. [22]G.M.Fung
and o.L.Mangasarian.Breast Tumor Susceptibility to Chemothe—

Rapy via Support Vector Machines.Data Mining Institute Technical

Report

41

03—06.2003

[23]唐孝,莫智文.基于SVM的ECG分类策略.生物医学工程学杂志.2007第三期(已 录用). [24]张翔,田金文,柳健.支持向量机及其在医学图像分割中的应用:[博士学位论 文].华中科技大学,2004. C25] 邢华雄.心电图基础.北京:解放军出版社,1988;35-42,128—141 [26] 边肇祺,张学工等编著.模式识别.北京:清华大学出版社.2000. [27]
V.Vapnik.The Nature of Statistical Learning Theory.New York:Springer

—Verlag,1995.(张学工译,统计学习理论的本质,北京:清华大学出版社.2000.) [283祝海龙.统计学习理论的工程应用:[博士学位论文].西安交通大学,2002. [29]K.R.Mul ler,S.Mika,G.Ratsch,K.Tsuda.AIl
Learning Algorithms.IEEE Transactions 181-201. Introduction to Kernel—Based
on

Neutral

Network。2001,12(2):

[30]V.Vapnik.Statistical

Learning Theory.Wiley,New York。1998. Support Vector Machines Approach to Decision

[31]K.P.Bennett,J.A.Blue。A

Trees.R.P.L.Math Report.No.97一100。Rensselaer Polytechnic Institute, Troy,NY,1997.

[32]史忠植编著.高级人工智能.北京:科学出版社.1998. [33]J.Weston,C.Watkins.Multiclass Support
U.K,Tech.Rep.CSD—TR一98—04,1998. Vector Machines.Univ.London.

[34]忻栋.支持向量机算法的研究及在人说话识别上的应用:[硕士学位论文].浙江 大学,2002. [35]李红莲,王春花,袁保宗.一种改进的支持向量机NN-SW.计算机学报。2003.

[36]王国胜,钟义信.支持向量机的若干新进展.电子学报.2001,29(10):1397-1400
[37]周珂,彭宏,胡劲松.支持向量机在心电图分类诊断中的应用.微计算机信息, 2006;22(3—3):237-239. 【38】Zhou SHI Rautaharju
parameters

P M.Calhoun n P.Selection of



reduced set of

for classification of ventricular conduction defects by Comp Cardiol,1993;879.

cluster

analysis[R].Proc

42

[39]Minam

I K C,Nakajima H,Toyoshma T.Real—time discrimination of


ventricular tachyarrythm ia

ith fourier—transform

neural network

[JJ.IEEE [40]A

Trans B

iam

ed

Eng.1999;46:179.

fonoso V X。Tompkins W J.Detecting ventricular fibrillation: for the

Selecting the appropriate time—frequency analysis tool

application[J].IEEE 【41]Zhang

Eng M ed B iolMag.1995:14:152.

XS,Zhu YS。Thakor N V,etal Detecting ventricular tachycardia and

fibrillation by complex ity 46:548.

measure[J].IEEE



rans

B iom ed Eng,1999;

[42】Chen

SW.Two—stage discrim ination of cardiac arrhythm
prony

ia



using



total least squares—based
ed Eng,2000;47:1317.

modeling

algorithm[J].IEEE

Trans B iom

[43]^rnold

M,M iltner w H R,w itte H.A daptive A R modeling of nonstationary
means

time series by 1998:45:533.

of Kalman fi

ltering[J].IEEE



rans

B iom ed

Eng,

[44]Ham

F3l。Han S.Classificiation of

carhiac arrhythm ia



using fuzzy

ARTMAP[J].IEEE

Trans B iom ed Eng,1996;43:425.

[45]任建峰,郭雷.李刚.多类支持向量机的自然图象分类.西北工业大学学报, 2005:23(3):295—298. [46]Platt J.Fast
Training of Support Vector Machines Using Sequential in Kernel Methods.Cambridge,Mass:MIT

Minimal Optimization in Advances Fres。1999:185.

[47]薛明东,郭立.基于SVM算法的图象分类.计算机工程与应用,2004;30:230. [48】张华煜。邢丽萍.基于核函数的支持向量机分类方法.电脑开发与应用,2005:
18(7):26

[49】黄发良,钟智.用于分类的支持向量机.广西师范学院学报(自然科学版),
2004;21(3):75.

[50]沈翠华,刘广利,邓乃扬.一种改进的支持向量分类方法及其应用.计算机工程。
2005:31(8):153.

43

[51]龙晓林,蒋静坪.基丁:SVM的机器人1:仲识别华中科技人学学报(自然科学版)
2005:33(2):41.

[52]路斌,杨建武,陈晓鸥.一种基于SVM的多层分类策略.计算机工稃。2005:
31(1):73.

致谢
本文是在导师莫智文教授的精心指导下完成的,三年来,导师在学术和生

活上给予了我极大的指导和帮助,使我进入粗糙集和心电图像信息处理领域, 并做了一些科研工作。感谢质朴、温厚的导师莫智文教授,先生那对科学孜孜 不倦的热忱与衷爱、渊博的知识与智慧、严谨的治学态度,都让我时刻感动并
铭记于心,这些也都将成为我今后的人生境界。 感谢电子科技大学舒兰教授在学术上的指导和生活上的关心l

感谢北京气象学院陈永义教授提供的SVM技术指导! 感谢电子科技大学漆进老师在学术上的指导l 感谢四川师范大学数学与软件科学学院领导和老师们对我的学习和生活 给予了大力的支持和帮助!
感谢和我一起学习的同学们! 最后,我还要深深地感谢我的父母,在我学习期间给予我学业坚定的理解 和支持,对我生活无微不至的关心,为我付出了巨大的牺牲!

攻读硕士学位期间的科研成果
[1].Tang
Xiao,Mo Zhiwen.A Model
of Granular of

Computing Based

OH

gquivalent

Operator

of Pansystems

Rough

Sets.Fuzzy systems

and mathemat i

cs,(2007)4,2.

[2].唐孝,唐丽,莫智文.基于支持向量机算法的ECG分类策略.生物医学工 程学杂志(已录用) [3].Mo
zhiwen,Tang Li,Tang xiao,Lan Shu,The Algorithm of the Quick

Fitting LADT,International Joural of Computer Science and Network

Security,(2006)6,6,52—56. [4].王燕,唐孝,唐丽.基于绝对分析的多值信息系统粗集模型及其约简。四川 师范大学学报.(已录用)

[5].唐丽,唐孝,莫智文.Vague集相似度量及其在心电图自动识别中的应用.
生物医学工程学杂志(已录用) [6]。唐孝,莫智文.汽车防抱变论域自适应模糊控制器设计.控制理论.(修改 中) [7:.唐孝,莫智文.基于支持向量机1-vs-rest算法的心电图分类方法.中国 生物医学工程学报(修改中) [8:.莫智文,唐孝.ECG自动分类诊断的研究. (已完稿)

[9:.莫智文,唐孝.ECG自动诊断系统的开发.(已完稿)

支持向量机(SVM)及其在心电图(ECG)分类识别中的应用
作者: 学位授予单位: 唐孝 四川师范大学

相似文献(10条) 1.期刊论文 刘志刚.李德仁.秦前清.史文中 支持向量机在多类分类问题中的推广 -计算机工程与应用2004,40(7)
支持向量机(SVMs)最初是用以解决两类分类问题,不能直接用于多类分类,如何有效地将其推广到多类分类问题是一个正在研究的问题.该文总结了现 有主要的支持向量机多类分类算法,系统地比较了各算法的训练速度、分类速度和推广能力,并分析它们的不足和有待解决的问题.

2.学位论文 张晓平 基于支持向量机的多类分类算法研究及在滚动轴承故障识别中的应用 2007
上世纪九十年代,在统计学习理论的基础上发展出了一种新的机器学习算法——支持向量机。由于其具有良好的理论基础和推广能力,并解决了机 器学习领域存在的一些问题,因而受到了人们普遍的重视。然而,支持向量机本身是针对两类分类问题的算法,而实际生活中广泛存在着的是多类别的 分类问题,因此,研究如何利用支持向量机实现多类分类,具有十分重要的意义,也成为当前研究的一个热点问题。国内外学者在此领域作了大量的研 究工作,提出了多种基于支持向量机的多类分类算法,达到了利用支持向量机实现多类分类的目的,这些算法有着各自的优点,但还存在一定的缺陷 ,还有很多问题需要得到进一步的解决。总体上看,基于支持向量机的多类分类算法的研究还处于一个不断探索的阶段,有着广阔的发展空间。 本文全部研究工作的着眼点主要集中于以下几个问题:现有的几种支持向量机多类分类器在算法结构和分类机理上彼此有什么共同点,能否将它们 归结为几种类型;如何确定多类分类器的算法结构以提高分类器的推广能力;核函数的变化对多类样本经过映射后所有两类间的可分性对比关系究竟有 什么影响;能否直接在高维特征空间中对多类样本所有两类的可分性对比关系进行估计;能否提出新的支持向量机多类分类算法,并且使其具有较好的 推广能力。针对以上问题,本文主要做了以下几个方面的研究工作,第一,从算法结构和分类机理的角度对“一对一”、“一对多”、基于二叉树结构 的支持向量机多类分类算法及DAGSVM进行了分析,并将其分别归结到两种利用支持向量机实现多类分类的算法设计思路之中,为从算法结构和分类机理 的角度研究支持向量机多类分类算法提供了一种参考;第二,进行了滚动轴承的故障实验,分别采集了滚动轴承在五种工作状态下的振动信号,并通过 小波包变换进行特征提取,得到了对应于滚动轴承五种工作状态的五类样本;第三,对类间可分性的几个相关问题进行了研究,并通过将核函数引入到 类间可分性度量算法当中,实现了对高维特征空间中所有两类样本可分性的度量与对比;第四,对不同的核函数及同一种核函数的不同参数对多类样本 在高维特征空间中所有两类间的可分性及其对比关系的影响进行了研究和总结;第五,提出了基于类间可分性度量的二叉树结构生成算法,并利用得到 的二叉树结构构造支持向量机多类分类器,通过实验证明,利用本文提出的算法所确定的二叉树结构使得到的多类分类器的分类性能有所提高;第六 ,分别提出了基于两类可分性最大原则的支持向量机多类分类算法和基于类间可分性度量的“一对二”支持向量机多类分类算法,并将它们分别应用于 对滚动轴承五种工作状态的识别,取得了较好的效果。 本文通过以上工作,主要对确定支持向量机多类分类算法的结构、发展新的支持向量机多类分类算法、多类样本所有两类间的可分性对比关系及其 与核函数的联系等几个方面进行了研究,并将所提出的一些方法应用于对滚动轴承五种状态的识别,取得了较好的效果。总的来讲,基于支持向量机的 多类分类算法的研究主要立足于如何用较好的方法构造出性能更为优良的多类分类器,其中许多问题的解决还有待于广大研究者的进一步探索。

3.期刊论文 王晓锋.秦玉平.WANG Xiao-feng.QIN Yu-ping 基于支持向量机的网页多类分类技术 -大连轻工业学院 学报2007,26(4)
基于支持向量机的网页分类技术是数据挖掘中一个研究热点领域.支持向量机是一种高效的分类识别方法,在解决高维模式识别问题中表现出许多特 有的优势,但支持向量机本身是一个两类问题的判别方法,不能直接应用于多类问题.总结了当前常用的几种支持向量机多类分类算法,分别从训练速度、 测试速度、分类精度三方面对这些分类方法进行了讨论,并给出了进一步的研究方向.

4.学位论文 张晶晶 多类分类支持向量机在信用评级领域的应用及核参数选择研究 2009
支持向量机(Support Vector Machine)是数据挖掘的新方法,也是一种小样本统计工具,它在解决小样本、非线性及高维的模式识别问题上具有其 他机器学习方法难以企及的优势。在支持向量机二类分类方法的基础上,本文深入研究了多类分类的算法及其应用。 巴塞尔新资本协议希望并鼓励银行业发展内部信用评级系统,如何寻找到一种客观、可行的评级方法,如何构建内部评级系统,对国内银行从业者 提出了新的要求和挑战。信用评级从科学的角度对信用度进行定性和定量分析,其本质是一个非线性的分类问题,用支持向量机可以很好地解决。 本文在前人研究的基础上,围绕着支持向量机多类分类算法的改进及其在信用评级领域应用而展开。 首先,根据巴塞尔新资本协议提出的信用评级体系,建立对应的评级模型。该模型的建立将信用评级过程标准化,层次化。本文主要针对模型层进 行分析,通过改进模型层的核心算法,实现不同的评级方法。 其次,将层次支持向量机、纠错编码支持向量机等几种适合用于多类分类的算法加以改变和优化,使之有更好的分类效果。然后结合银行提供的评 级样本,使用工具箱实现了机器学习和数据评估过程。最后从性能、分类效果和易实现等角度分析了这几种多类分类算法的相对优劣。 本文还分析了核函数的选取对支持向量机分类结果的影响,通过调节参数,对不同参数条件下的分类效果进行实验。分析了几种最常见核函数的性 能和特点,阐述了核函数的构造和相关定理,选择实验所用的核函数--Gauss径向基核函数;同时研究了Gauss径向基核函数两个参数意义,根据数据源 样本对两个参数σ和C进行调整,找寻参数值与支持向量机学习、推广性能之间的关系,最后总结了参数调节的方法。

5.会议论文 孙开师.贺国平 基于聚类的支持向量机多类分类问题 2006
支持向量机源于二类分类问题,而支持向量机多类分类问题虽然取得了一定的进展,但是目前仍是一个不断发展的热点问题.本文介绍了当前支持向量 机多类分类问题的一般解法和思路,提出了一种基于聚类的支持向量机多类分类问题的解法,并与通常的解法相比较,得到了良好的结果。

6.学位论文 杨杰 基于模糊支持向量机的多类分类方法研究 2005
多类分类是机器学习的一个重要分支,而经典的支持向量机算法是针对两类的分类问题提出的,于是人们将其推广来解决多类分类问题.在一些实际 问题中类与类的边界是不清晰的,为此人们又提出了模糊支持向量机的概念,来进一步完善支持向量机多类分类方法及满足一些其他实际问题的需要.基 于不同的出发点,目前主要有两种建立在模糊支持向量机基础上的分类方法,但都不是很成熟,本文的工作在于对这两种方法进行深入分析,提出改进 算法,并加以实例验证:   一种思想是由日本学者Takuga与Shigeo提出的.此方法主要是针对一对多组合与一对一组合支持向量机存在决策盲区而提出的,但这种方法并不能保 证各个多类分类器结果的一致性,本文给出一个修正的模糊支持向量机的分类模型,从而提高此方法的性能.   另一种思想由台湾学者Chun-FuLiu,Sheng-DeWang,Han-PangHuang等人提出,其出发点是为了突出数据中各个样本点的重要程度的差异,同时也为 了减小噪音数据对分类结果的影响.本文将这种方法和一对多组合结合起来,从而使新的多类分类算法具有很好的泛化能力.   经实例验证,本文提出的改进算法比原方法有更好的分类结果.

7.期刊论文 唐发明.王仲东.陈绵云.TANG Fa-ming.WANG Zhong-dong.CHEN Mian-yun 支持向量机多类分类算法研 究 -控制与决策2005,20(7)
提出一种新的基于二叉树结构的支持向量(SVM)多类分类算法.该算法解决了现有主要算法所存在的不可分区域问题.为了获得较高的推广能力,必须 让样本分布广的类处于二叉树的上层节点,才能获得更大的划分空间.所以,该算法采用最小超立方体和最小超球体类包含作为二叉树的生成算法.实验结 果表明,该算法具有一定的优越性.

8.学位论文 赵晖 支持向量机分类方法及其在文本分类中的应用研究 2005

支持向量机作为一种基于统计学习理论的新型机器学习方法,较好地解决了非线性、高维数、局部极小点等实际问题,是机器学习领域新的研究热 点。文本分类是基于内容的自动信息管理的核心技术。文本向量稀疏性大、维数高、特征之间具有较大的相关性,支持向量机对于特征相关性和稀疏性 不敏感,处理高维数问题具有较大的优势,因此,支持向量机非常适用于文本分类问题,在文本分类中具有很大的应用潜力。但是,同时,文本分类也 给支持向量机提出了许多富有挑战性的课题。例如,文本分类具有类别和样本数目多、噪音多等特点,支持向量机用于文本分类时存在训练和分类速度 较慢等缺点。该文主要针对支持向量机在文本分类等实际应用中存在的问题进行深入研究。 主要工作如下: 1、支持向量机是针对两类分类问题提出的,如何将其有效地推广到多类分类仍是一个尚未完全解决的问题。分析了现有支持向量机多类分类方法的 特点,并给出了一种半模糊核聚类算法,在此基础上,根据树型支持向量机的特性,提出了一种基于半模糊核聚类的树型支持向量机多类分类方法。该 方法基于半模糊核聚类算法挖掘不同类别之间的衔接和离散信息,设计树型支持向量机的树型结构,克服其差错积累问题。实验表明,与其它支持向量 机多类分类方法相比,该方法具有较高的分类精度和训练速度,提高了支持向量机在多类分类问题中的应用效果。 2、针对标准支持向量机对噪音敏感,分类时倾向于样本数目较多的类别的问题,给出一种模糊支持向量机的推广模型,并在此基础上,结合近似支 持向量机的优势,提出了一种支持向量机组合分类方法。该方法首先采用近似支持向量机快速地去除非支持向量、减少训练样本数目、确定样本权值和 模型参数,然后在样本数目较少的训练集上,依据选择好的模型参数和样本权值训练模糊支持向量机的推广模型。实验表明,该方法能有效确定样本权 值,减少训练时间,并克服野值点和类别训练样本数目不均衡对分类器的不利影响。 3、通常情况下,支持向量的数目越多,支持向量机的分类速度越慢,如何缩减支持向量集合、提高支持向量机的分类速度是支持向量机的重要研究 内容之一。在分析了现有支持向量集合缩减方法的基础上,提出了一种基于虚样本与支持向量回归的支持向量集合缩减方法。该方法是根据支持向量集 合和支持向量回归方法的特性,对Osuna等提出的支持向量集合缩减方法的改进。该方法通过引入虚样本剔除支持向量集合中的冗余样本,生成虚边界支 持向量,解决了当冗余支持向量数目较多、边界支持向量数目很少时,Osuna等提出的方法不能有效缩减支持向量集合的问题。实验表明,该方法在基本 不降低支持向量机分类精度的前提下,比Osuna等提出的方法更大程度地减少了支持向量的数目,提高了支持向量机的分类速度。 4、基于支持向量机在文本分类中的优势,将支持向量机方法应用于文本分类的特征提取,提出了一种基于支持向量机的单词聚类方法。该方法基于 支持向量机度量单词对分类的贡献大小,将对分类贡献一致的单词合并起来作为文本向量的一个特征项。实验表明,该方法在基本不丢失分类信息的前 提下,较大程度地降低了文本向量的维数、减少了文本特征之间的相关性,并提高了文本分类的查准率和查全率。

9.期刊论文 黄剑锋.刘付显.朱法顺.HUANG JIANFENG.LIU FUIXIJAIN.ZHU FASHUN 基于多类分类支持向量机的空袭 目标识别 -微计算机信息2008,24(10)
针对已有空袭目标识别方法存在的不足,依据空袭目标的分类原则,提出了基于多类分类支持向量机的空袭目标识别方法.该方法采用支持向量机的多 类分类技术,降低了经验风险,有效地提高了识别率.最后给出了一个算例,结果和专家给出的建议一致,表明支持向量机方法比较精确和简单.

10.学位论文 王晓峰 SVM多类分类及其在遥感图像中的应用 2005
支持向量机(SVM)是在Vapnic的统计学习理论基础上发展起来的一种新的模式识别方法。它以结构风险最小化(SRM)为原则,通过实现确定的非线性 映射将输入向量映射到一个高维特征空间中,然后在此高维空间中构建最优分类超平面。SVM在解决小样本、非线性及高维模式识别问题中表现出许多特 有的优势,并能够推广到函数拟合等其他机器学习问题中。目前,将SVM应用于模式识别领域,是当前SVM的一个研究热点。 最初SVM是用以解决两类分类问题,不能直接用于多类分类。因此如何有效地将其推广到多类分类问题还是一个正在研究的问题。当前已经有许多算 法将SVMs推广到多类分类问题,这些算法统称为“多类支持向量机“(Multi-category Support Vector Machimes,M-SVMs)。本文提出了一种基于编码 二叉树的多类支持向量机——CB-SVMs,算法舍弃了各子分类器间大量冗余信息及其较小的纠错补偿,合理利用了其它子分类器的分类信息,大大减少了 子分类器的数目。复杂度分析和在标准测试数据集上的计算结果表明:CB-SVMs相对其它M-SVMs,有效提高了训练速度和测试速度,同时具有构造简单、 稳定性好的优点。 本文最后介绍了遥感图像分类的基本理论和算法,通过将CB-SVMs应用到遥感图像分类中去,表明了CB-SVMs算法具有较高的分类精度和泛化性能。 同时说明了SVM算法在遥感图像分类方面良好的应用前景。

本文链接: 授权使用:电子科技大学(cddzkjdx),授权号:c0c68a99-28fd-4bb4-a62c-9ea300eda538 下载时间:2011年3月11日



  本文关键词:支持向量机(SVM)及其在心电图(ECG)分类识别中的应用,由笔耕文化传播整理发布。



本文编号:224174

资料下载
论文发表

本文链接:https://www.wllwen.com/yixuelunwen/swyx/224174.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户568a3***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com