面向高校多源异构数据的关联规则挖掘方法研究

发布时间：2021-02-26 01:05

　　信息技术进入大数据时代,数据产生、传输和存储技术的快速发展,造成了数据大规模增长以及查找的空间迅速扩大,同时导致了异构数据大量增加以及异构数据间交换问题日益严重,在对海量数据的使用和存储的管理过程中,启发了人们对大量已有数据的分析与挖掘开展研究,那么如何从大规模海量数据中挖掘获得有价值的非直接表达信息,数据挖掘领域进行了大量深入的研究,如何从异构海量数据中发掘事务间的关联成为了一个有力的挑战。高校在多年的信息化建设过程中积累了大量异构数据,利用数据挖掘技术对学习数据和教学数据等进行挖掘能够辅助教学管理进一步提高学校综合实力,高校对大数据进行关联分析挖掘的需求越来越强烈,已经逐步开始了各自的大数据挖掘进程。用户在对大量数据进行关联规则挖掘时,由于数据维度和数据规模的增大而造成的算法有效性差;关联规则挖掘算法运用到大量异构数据上时,有效性受限于内存。在对高校领域元数据集成进行了深入研究以及对关联规则挖掘算法充分了解的基础上,针对高校领域的元数据进行集成,在高校元数据集成的基础上改进关联规则挖掘算法,提高算法在特定领域的执行效率,同时也提高了规则生成的质量,本文提出了面向高校多源异构数据的关... 

【文章来源】：辽宁大学辽宁省 211工程院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

算法在lnutcm数据集上运行时间的对比

图 5-2 算法在 pumsb 数据集上运行时间的对比由 5-2 图可知，pumsb 数据集数据规模较小，但是属性较多。本文提出算经典 FP-Growth 算法和 ENFP-Growth 算法在该数据集上运行时，所需时间少。由于本文提出的算法在全局元数据的指导下，进行了属性关联度计算跟另外两种算法相比运行时间上的优势相当明显。（2）算法准确性对比。为验证本文提出的算法有效性及准确性，将本文算经典FP-Growth算法和ENFP-Growth算法在大规模数据集lnutcm和数据集sb 上对不同支持度分别进行挖掘，将本文算法生成的规则与经典 FP-Grow和 ENFP-Growth 算法生成的规则进行比较，以此来验证本文算法规则生成确性，算法在 lnutcm 数据集和 pumsb 数据集上的准确率对比结果如图 5--4 所示。

图 5-3 算法在 lnutcm 数据集上准确率的对比实验表明，在大规模数据集下本文提出的算法，在支持度较小、数据规模较大时，准确度较高；在支持度较大、数据规模较小时，准确度有所降低。随着支持度的增大，准确率开始降低。本文是基于样本抽样的规则生成，并基于规则生成结果的属性关联度计算，当支持度变大数据规模减小时，样本的规模会随着数据规模变小，当样本过小时，抽取的样本代表数据的准确性降低，所以生成规则的准确度降低。本文所提出的算法与经典 FP-Growth 算法和ENFP-Growth 算法相比，当支持度不同时，准确率方面总体与该两种算法持平


本文编号：3051844