基于可控的置信机器学习方法研究

发布时间：2020-09-29 22:07

　　机器学习算法的研究已经取得了很大的进展,并且得到了广泛的应用,但多数机器学习算法只能给出“是”或“不是”、“属于”或“不属于”这类简单的判断,缺少一种置信度机制来说明这种判断的可信度或可靠性有多大。置信机器就是这种带有置信度机制的机器学习方法。置信机器是许多机器学习方法的进一步延伸,它不仅可以像许多机器学习方法做出性能的预测,还可以对预测结果中的定量的质量度量,给出可信性(Credibility)和置信度(Confidence)。目前的置信机器学习算法的研究,往往理论基础深奥,算法复杂,可替代计算的函数很少,且不容易理解与使用。本论文主要对基于可控的置信机器学习方法进行研究,以便找出更简单、更高效、更可靠、更实用的可控置信机器学习方法,主要的研究内容如下:首先对置信机器问题的提出、置信度等问题进行了论述。将置信度机制分为采用整体平均置信度学习方法的置信度机制、贝叶斯学习方法的置信度机制、直推式学习方法的置信度机制、带有拒绝选项学习方法的置信度机制。本学位论文的所有研究就是基于第四种置信度机制,即带有拒绝选项学习方法的置信度机制来实现的。针对二元置信分类问题,提出了一种基于一类分类器的二元置信分类(Tow Class Confidence Classification Based on One Class Classifier,TCCC-OCC)算法。该算法通过对识别样本进行两次学习的结果进行计算与分析,实现了接受域和拒绝域的划分,从而省略了在传统的置信机器学习中必须为每个未知样例进行具体置信度的计算,也省略了设置拒绝域阈值,减少了计算量。同时运用集成学习的方法,对学习结果进行多层学习,进一步提升了识别率。对可控率的置信问题进行了研究,提出了一种基于二元分类器的可控置信分类(Controllable Confidence Classification Based on Tow Class Classification,CCC-TCC)算法。该算法利用支持向量机(SVM)对样本进行学习,然后将学习结果从空间值转化为一维空间的Output Score值。由于SVM输出值Output Score的大小顺序保持了 SVM分类时距离超平面的远近距离顺序,所以可以通过设置阈值来控制置信度和错误率。CCC-TCC算法包括设置总的错分率进行可控置信分类算法、分别设置正负例错分率进行可控置信分类算法、从Score设置输出转换值的百分比进行可控置信分类算法、从错分的Score设置输出转换值的百分比进行可控置信分类算法共4个子算法,并在心脏病和糖尿病等5个数据集上对它们进行了实验验证。对置信回归问题的可控性进行了研究,提出了基于KNN的置信回归(Confidence Regressin Based on k-Nearest Neighbor,CR-KNN)算法。该算法以 KNN算法为工具,将回归学习的结果进行误差判断,实现接受域与拒绝域的划分,从而实现置信回归,并通过设置具体的误差数值的改变,实现了置信回归的可控。最后运用UCI等数据集中的数据进行了验证研究,选取了 Heart、Australian、Colon-Cancer、Pima Indians Diabetes、Liver-Disorders、Bodyfat、Housing、Pyrim、Triazines、Cpusmall等十余个数据集进行了实验研究,与其它相关的算法在相关方面的研究进行了比较。本学位论文提出的TCCC-OCC算法和CCC-TCC算法,以及CR-KNN算法对问题的研究,取得了满意的效果,达到了预期的目的。
【学位单位】：北京交通大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP181
【部分图文】：

机器学习系统,基本结构

分类的正确率。同样，对于医疗诊断系统，Ｃｑ和Ｃ为判断的可信度。逡逑１．２．３逦置信机器学习系统结构逡逑根据上述置信机器学习系统模型，图１．１给出了置信机器学习系统的基本结构。逡逑环境向系统的学习部分提供某些信息作为训练数据，学习部分利用选取的学习算逡逑法对获得的信息进行学习，学习过程可能会对环境产生影响，并从环境中获得新逡逑的训练数据。学习结果将由置信水平来判断，满足置信度条件的学习结果保留，逡逑不满足置信度条件的学习结果舍弃，进行人工处理。逡逑在学习结束时，获得的知识以不同的形式表示，根据不同的学习算法，如规逡逑则库、表达式、表格或yL经网络，统称为知识库。执行部分主要利用学习结果对逡逑需要识别的数据进行处理，得到相应的识别结果。对识别的结果进行置信度判断，逡逑满足置信度条件的识别结果输出

曲线,贝叶斯分类器,反对角线

Ｆｉｇｕｒｅ邋２．１邋Ｔｈｅ邋ｃａｌｉｂｒａｔｉｏｎ邋ｏｆ邋Ｂａｙｅｓｉａｎ邋ｃｌａｓｓｉｆｉｅｒ逡逑如果贝叶斯的置信分析是有效的，那么曲线的置信度和错误率，简称为“置信逡逑曲线”，应该是由一个反对角线和位于反对角线的左下角。从图２．１中可以看出，逡逑１９逡逑

数据描述,支持向量

非线性变换映射到高维特征空间，一个封闭的、紧凑的高维空间中的超球面建立逡逑起来，球体半径和它包含的样本映像的数量，包含样本数达到最多［１８６，１８７］。ＳＶＤＤ逡逑用于构造一个分类器，实现外部点（ｏｕｔｌｉｅｒ）的检测，如图３．１所示。逡逑一类分类器［１８８］只对样本空间中的一类对象进行分类。如果该类称为正类，则逡逑该类的其余部分称为负类。其实质是在样本空间中建立一个超球体，它包含所有逡逑的被确认的正类对象，并使超球体最小。逡逑由于训练数据集从到高维特征空间ｊ存在一个非线逡逑性映射以，所以，寻找一个半径Ｒ和球心为ａ的超级球体，使得覆盖优逡逑化问题如下：逡逑２８逡逑

【参考文献】