基于Spark的标签校准排序多标签算法研究

发布时间：2021-05-14 01:54

　　随着数据规模的不断扩大和数据量的爆炸式增长,传统标签技术已不能满足人们现实的需求。各个领域数据表现出不同的特征,在种类上趋于多样化,在价值上趋于低密度化,在来源上趋于分散化,在处理需求上趋于实时化。在传统的单标签数据挖掘中,每个事物样本的分类只属于一个类别。事物与事物之间存在一定地关联,这种关联将原来的一种类别化分为更多的类别。随着多标签技术的发展,不同领域出现了大量表现不一致的多标签机器学习算法,针对不同的领域场景选择合适的算法是提高预测正确性的一种手段。从一阶、二阶到高阶策略多标签学习方法,每阶策略所体现的标签关联也存在极大的差异,其复杂程度呈现显著的变化。为了探讨标签之间地关联,本文选择了一种二阶多标签学习方法,即校准标签排序算法（Calibrated Label Ranking,CLR）。传统的校准标签排序算法利用成对标签关联进行转化来预测结果,该算法的校准是在二元关系算法（Binary Relevance,BR）基础上进行比较而产生结果。其预测对BR产生结果具有一定的依赖性,因此该算法在预测某些数据集具有一定的局限性。当数据的特征和数量不断增加时,直接使用串行方法会出现耗时太... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景和意义
    1.2 多标签国内外研究现状
        1.2.1 多标签学习问题描述
        1.2.2 多标签学习方法
    1.3 论文主要工作
    1.4 本文的组织结构
第2章 校准标签排序算法与并行化研究
    2.1 校准标签排序算法介绍
    2.2 校准标签排序算法研究现状
    2.3 Spark并行化研究现状
    2.4 本章小结
第3章 基于朴素贝叶斯校准标签排序方法
    3.1 朴素贝叶斯概率模型
    3.2 基于朴素贝叶斯校准标签排序方法
    3.3 实验方法与算法描述
        3.3.1 实验方法
        3.3.2 算法描述
    3.4 实验评价
        3.4.1 实验数据
        3.4.2 评价指标
    3.5 实验方法
        3.5.1 朴素贝叶斯概率模型权重设定
        3.5.2 参数设定
        3.5.3 实验结果
    3.6 本章小结
第4章 基于朴素贝叶斯校准标签排序方法的并行化研究
    4.1 基于Spark并行研究
        4.1.1 MapReduce计算框架
        4.1.2 MPI
        4.1.3 Spark并行计算框架
        4.1.4 MapReduce与 Spark联系
        4.1.5 MPI与 Spark
    4.2 基于朴素贝叶斯校准标签排序方法的并行化研究
        4.2.1 训练集划分阶段的并行化
        4.2.2 朴素贝叶斯概率模型的并行化
        4.2.3 校准标签排序模型的并行化
        4.2.4 基分类使用
    4.3 实验及结果分析
        4.3.1 实验数据
        4.3.2 评价指标
        4.3.3 NBCLRM程序与CLR程序比较
        4.3.4 实验结果分析
    4.4 本章小结
第5章 总结及未来工作
    5.1 总结
    5.2 未来工作
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果


【参考文献】：
期刊论文
[1]科技数据应用效果评估模型初探[J]. 朱艳华,胡良霖,黎建辉.  中国科技资源导刊. 2014 (02)
[2]多标签数据挖掘技术:研究综述[J]. 李思男,李宁,李战怀.  计算机科学. 2013(04)
[3]基于机器学习的中文微博情感分类实证研究[J]. 刘志明,刘鲁.  计算机工程与应用. 2012(01)
[4]一种基于关联规则的多类标分类算法[J]. 李宏,李博,吴敏,陈松乔.  控制与决策. 2009(04)
[5]朴素贝叶斯及其扩展模型[J]. 裴亚辉,熊盛武.  网络安全技术与应用. 2007(08)



本文编号：3185042