不确定数据集中离群点检测技术的研究

发布时间：2022-02-12 11:28

　　近些年来,随着数据库技术的蓬勃发展,需要在数据库中存储和处理的数据量日益增加,如何从海量数据中挖掘出潜在的甚至未被发现的价值信息已经成为当下数据库研究领域的热点问题之一。离群点检测技术可以帮助用户发现异常但有价值的数据信息,其在医疗诊断、金融诈骗、环境监测等领域中已经有着广泛的应用。目前,传统数据库领域中的离群点检测技术已经取得了许多优秀的研究成果。然而,随着人们对数据采集和数据处理理解的不断深入,人们逐渐认识到不确定数据在生产和生活中普遍存在。但是,在这新兴的不确定数据库领域中现有的离群点检测方法具有一定的局限性,不能切实有效的满足现实应用的需求。为此,本文对不确定数据中和不确定数据流中的离群点检测问题展开了研究。具体地,本文的主要贡献如下:1.提出了不确定数据集中的快速离群点检测算法FODU（Fast Outlier Detection Algorithm on Uncertain Data Sets）。首先,采用分层次划分思想给出了索引的构建策略,这种索引结构即克服传统索引对多维数据管理的局限性又避免了空间冗余的产生。然后,提出了全新的过滤方法,该方法包括批量过滤与单点过滤两个过... 

【文章来源】：大连海事大学辽宁省211工程院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

图２．?１不确定数据集中的离群点示例??Ｆｉｇ．?２．１?Ｅｘａｍｐｌｅ?ｏｆ?ｏｕｔｌｉｅｒｓ?ｉｎ?ｕｎｃｅｒｔａｉｎ?ｄａｔａ?ｓｅｔｓ??

１??罄?？？馨??０．９－?？?ＰＵ?鲁％：?Ｋ?￥??〇?８?－?尸丨５?ｂ，?ｐ＼９?／＞？??０．７?？?？?Ａ書參參？??＾?／？７?Ｗ?Ａ?Ｐ２＼ｐ２ｉ?Ｐｌｆ??－ｔ?Ａ??ｂ２?Ｐ＇、Ｐ、＇，ｈ＊?ｂｖ??〇．４?？?丨?蠡?？?￣代７；??０?：－?［?Ｚ?＾??０Ｊ＇＃?？?？?？??０丨，？?／，！?？??凡?ｈｉ?ｈ３?＊?ｂ４??〇?０．１?０．２?０．３?０．４?０．５?０．６?０．７?０．８?０．９?Ｉ卡唯??图２．?２分层次划分索引构建的示例??Ｆｉｇ．?２．２?Ｅｘａｍｐｌｅ?ｏｆ?ｈｉｅｒａｒｃｈｉｃａｌｌｙ?ｉｎｄｅｘｅｄ?ｂｕｉｌｄ??表２．?４图２．?２中数据点的概率信息??Ｔａｂ．?２．４?Ｐｒｏｂａｂｉｌｉｔｙ?ｉｎｆｏｒｍａｔｉｏｎ?ｏｆ?ｄａｔａ?ｐｏｉｎｔｓ?ｉｎ?Ｆｉｇｕｒｅ?２．２??不确定数据点?存在概率?不确定数据点?存在概率?不确定数据点?存在概率??划分子块６！?划分子块ｈ?划分子块Ａ３??Ｐｉ?０．９?ｐｉ?０．８?ｐ６?０．９??Ｐａ?０．７?ｐｉ?０．４?ｐｓ?０．３??划分子块仏?划分子块ｈ?划分子块６６??Ｐ３５?０．７?／？３０?０．８?Ｐ９?０．６??Ｐ３３，?０．７?／？３ｉ?０．７?ｐ＼〇?０．６??Ｐ３２?０．６?Ｐ２９?０．７?尸１１?０．４??／？３４?０．３?／？２７?０．６?Ｐ％?０．３??Ｐ２８?０．１?ｐｉ?０．３??划分子块６７?划分子块心?划分子块心??Ｐ］２?０．９?Ｐ２４?０．６?ｐ＇

?不确定数据集中离群点检测技术的研究???续表２．４??不确定数据点?存在概率?不确定数据点?存在概率?不确定数据点?存在概率??划分子块６７?划分子块如?划分子块如??ｐｉ４?０．７?ｐａ?０．５?ｐ２〇?０．７??ｆ＞１５?０．７?Ｐ２５?０．４?Ｐ１６?０．４??ｐｉ６?０．３?／＞ｉ７?０．３??具体地，图２．３是图２．２的索引生成树。从图２．３中可以看出划分索引树的叶子节点??中包含了不确定数据集合Ｐ中的所有数据点，并且叶子节点之间不存在相互重叠的关??系，集合户中的任意不确定数据点；＾也只能被映射在唯一的叶子节点中。??根节点—??子节点?｜?｜￣子节点??Ｉ???１?￣???ｂ＇?ｂ２?节点?子节点??￣￣￣?丨子士点｜?｜子“点?｜子结点??１?Ｉ?１??＾４?＾５?＾６?ｂ－ｙ?ｂｆｉ?ｂｅ）??图２．?３分层次划分索引的生成树示例??Ｆｉｇ．?２．３?Ｅｘａｍｐｌｅ?ｏｆ?ａ?ｓｐａｎｎｉｎｇ?ｔｒｅｅ?ｔｈａｔ?ｄｉｖｉｄｅｓ?ｔｈｅ?ｉｎｄｅｘ?ｈｉｅｒａｒｃｈｉｃａｌｌｙ??首先，本小节中给出了不确定数据集中分层划分索引的构建方法。然后，给出了具??体示例进行说明。总结起来，本文设计的分层次划分索引结构在数据过滤方面具有两大??优势：一、可以使得相对稀疏的数据点被索引到匕旦的划分子块中，因??此容易确定划分子块内的数据点是否为离群点；二、可以使得相对较为密集的数据点被??索引到匕腳ｎ＞Ｍ旦以Ｍｒ的划分子块中，因此，容易确定这种划分子块内的数据点是??否为非离群点。同时，对比传统索引结构，本文采

【参考文献】：
期刊论文
[1]基于多种支撑点的度量空间离群检测算法[J]. 许红龙,唐颂,毛睿,沈婧,刘刚,陈国良.  计算机学报. 2017(12)
[2]BOD:一种高效的分布式离群点检测算法[J]. 王习特,申德荣,白梅,聂铁铮,寇月,于戈.  计算机学报. 2016(01)
[3]基于距离的不确定离群点检测[J]. 于浩,王斌,肖刚,杨晓春.  计算机研究与发展. 2010(03)
[4]不确定性数据管理技术研究综述[J]. 周傲英,金澈清,王国仁,李建中.  计算机学报. 2009(01)



本文编号：3621636