模糊多准则决策在大数据聚类分析中的应用与研究
发布时间：2021-07-17 20:37
大数据聚类分析是目前大数据处理中的非常重要的一环,聚类分析就是把属性相似的数据元素分到一起,不相似的尽可能分开。同一种聚类算法处理不同数据集的效果可能是不尽相同的,有的甚至差别很大。目前有很多关于聚类算法的改进或者并行化的研究,但是针对某一数据集的聚类算法选择或者k值选择的问题,研究的相对较少。本文主要研究针对某一数据集的最优聚类算法和最佳聚类数目,数据集可以是普通数据集和大数据集。关于普通数据集的算法选择问题,需要先对部分经典聚类算法进行综合比较分析,分别包括基于划分、层次、密度以及模型的聚类算法等;本文选择多种聚类外部评价指标对算法质量进行验证,将这些评价数据组成决策矩阵,并用多准则决策模型处理矩阵。对于聚类算法的k值选择,文章选取部分内部有效性评价指标,然后选取不同的k值组成决策矩阵,使用多准则决策模型处理矩阵。要构建模糊多准则决策模型,首先要确定多种不同的权重确定法,主要包括主观、客观和综合权重确定方法;另外还有模糊数中的语言术语集和直觉模糊集,这些可以用来表示不确定信息;语言术语集可以针对聚类算法的具体特点赋予不同的评价值,组成主观权重。还有目前较为流行的多准则决策方法,比如...
【文章来源】：齐鲁工业大学山东省
【文章页数】：69 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景
1.2 研究目的及意义
1.3 研究现状
1.3.1 聚类算法和评价研究现状
1.3.2 模糊多准则决策的研究现状
1.4 创新点和技术方案分析
1.4.1 主要创新点及研究内容
1.4.2 技术方案分析
第2章 聚类分析相关理论
2.1 聚类分析的概念
2.1.1 聚类算法的概念
2.1.2 大数据的相关概念
2.2 聚类算法的分类
2.3 聚类算法比较分析
2.4 聚类有效性评价方法
2.4.1 外部有效性评价
2.4.2 内部有效性评价
2.5 本章总结
第3章 模糊多准则决策方法
3.1 多准则决策的概念
3.2 模糊集的概念
3.3 MSM算子简介
3.3.1 MSM算子
3.3.2 加权MSM算子
3.3.3 直觉模糊加权MSM算子
3.4 权重计算方法
3.4.1 客观权重计算
3.4.2 主观权重计算
3.4.3 综合权重计算
3.5 多准则决策模型
3.6 本章总结
第4章 基于模糊多准则决策的最优聚类选择方法
4.1 最优聚类选择模型
4.2 模糊多准则决策
4.2.1 多准则决策模块
4.2.2 模糊数的转换
4.2.3 语言术语模块
4.3 最优聚类和K值选择方法
4.3.1 最优聚类选择方法
4.3.2 K值选择方法
4.4 实验结果与分析
4.4.1 最优聚类算法选择
4.4.2 最优聚类k值选择
4.5 本章总结
第5章 基于模糊多准则决策的大数据聚类算法比较研究
5.1 基于大数据平台的k-means算法改进
5.1.1 Spark大数据平台简介
5.1.2 改进的k-means算法及其并行化
5.2 基于模糊多准则决策的算法比较方法
5.3 实验结果与分析
5.3.1 实验平台搭建
5.3.2 实验结果分析
5.3.3 算法比较
5.4 本章总结
第6章 总结与展望
参考文献
致谢
在学期间主要科研成果
一、发表学术论文
二、申请发明专利
三、参加项目
【参考文献】：
期刊论文
[1]基于Spark的K-means改进算法的并行化实现[J]. 宋董飞,徐华. 计算机系统应用. 2018(04)
[2]基于犹豫模糊语言术语的供应商多准则群决策研究[J]. 彭建刚,夏光. 工业工程. 2018(01)
[3]基于数据特性的Spark任务性能优化[J]. 柴宁,吴毅坚,赵文耘. 计算机应用与软件. 2018(01)
[4]K-means算法最佳聚类数评价指标研究[J]. 郭靖,侯苏. 软件导刊. 2017(11)
[5]基于数据约减的聚类有效性分析[J]. 于晓,李晨,王亚茹. 传感器与微系统. 2017(03)
[6]一种基于聚类分析与熵权模糊评价的虚拟企业综合决策算法研究[J]. 王妮,孙建民,李凯,于天彪,张天瑞. 工业工程与管理. 2016(03)
[7]基于Spark框架的聚类算法研究[J]. 陈虹君. 电脑知识与技术. 2015(04)
[8]基于网格最小生成树的聚类算法选择[J]. 李翔宇,王开军,郭躬德. 模式识别与人工智能. 2013(01)
[9]基于属性加权的改进K-Means算法[J]. 陈东,皮德常. 电脑知识与技术. 2009(09)
[10]组合赋权法新探[J]. 曾宪报. 预测. 1997(05)
博士论文
[1]基于多目标决策的数据挖掘方法评估与应用[D]. 邬文帅.电子科技大学 2015
[2]基于多目标决策的数据挖掘模型选择研究[D]. 王国勋.电子科技大学 2013
[3]基于模糊多属性决策的企业信息化水平评价方法与应用研究[D]. 刘培德.北京交通大学 2010
硕士论文
[1]基于Spark的机器学习模型分析与研究[D]. 侯敬儒.昆明理工大学 2017
[2]基于Spark平台的CURE算法并行化设计与应用[D]. 邱荣财.华南理工大学 2014
本文编号：3288876
【文章来源】：齐鲁工业大学山东省
【文章页数】：69 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景
1.2 研究目的及意义
1.3 研究现状
1.3.1 聚类算法和评价研究现状
1.3.2 模糊多准则决策的研究现状
1.4 创新点和技术方案分析
1.4.1 主要创新点及研究内容
1.4.2 技术方案分析
第2章 聚类分析相关理论
2.1 聚类分析的概念
2.1.1 聚类算法的概念
2.1.2 大数据的相关概念
2.2 聚类算法的分类
2.3 聚类算法比较分析
2.4 聚类有效性评价方法
2.4.1 外部有效性评价
2.4.2 内部有效性评价
2.5 本章总结
第3章 模糊多准则决策方法
3.1 多准则决策的概念
3.2 模糊集的概念
3.3 MSM算子简介
3.3.1 MSM算子
3.3.2 加权MSM算子
3.3.3 直觉模糊加权MSM算子
3.4 权重计算方法
3.4.1 客观权重计算
3.4.2 主观权重计算
3.4.3 综合权重计算
3.5 多准则决策模型
3.6 本章总结
第4章 基于模糊多准则决策的最优聚类选择方法
4.1 最优聚类选择模型
4.2 模糊多准则决策
4.2.1 多准则决策模块
4.2.2 模糊数的转换
4.2.3 语言术语模块
4.3 最优聚类和K值选择方法
4.3.1 最优聚类选择方法
4.3.2 K值选择方法
4.4 实验结果与分析
4.4.1 最优聚类算法选择
4.4.2 最优聚类k值选择
4.5 本章总结
第5章 基于模糊多准则决策的大数据聚类算法比较研究
5.1 基于大数据平台的k-means算法改进
5.1.1 Spark大数据平台简介
5.1.2 改进的k-means算法及其并行化
5.2 基于模糊多准则决策的算法比较方法
5.3 实验结果与分析
5.3.1 实验平台搭建
5.3.2 实验结果分析
5.3.3 算法比较
5.4 本章总结
第6章 总结与展望
参考文献
致谢
在学期间主要科研成果
一、发表学术论文
二、申请发明专利
三、参加项目
【参考文献】：
期刊论文
[1]基于Spark的K-means改进算法的并行化实现[J]. 宋董飞,徐华. 计算机系统应用. 2018(04)
[2]基于犹豫模糊语言术语的供应商多准则群决策研究[J]. 彭建刚,夏光. 工业工程. 2018(01)
[3]基于数据特性的Spark任务性能优化[J]. 柴宁,吴毅坚,赵文耘. 计算机应用与软件. 2018(01)
[4]K-means算法最佳聚类数评价指标研究[J]. 郭靖,侯苏. 软件导刊. 2017(11)
[5]基于数据约减的聚类有效性分析[J]. 于晓,李晨,王亚茹. 传感器与微系统. 2017(03)
[6]一种基于聚类分析与熵权模糊评价的虚拟企业综合决策算法研究[J]. 王妮,孙建民,李凯,于天彪,张天瑞. 工业工程与管理. 2016(03)
[7]基于Spark框架的聚类算法研究[J]. 陈虹君. 电脑知识与技术. 2015(04)
[8]基于网格最小生成树的聚类算法选择[J]. 李翔宇,王开军,郭躬德. 模式识别与人工智能. 2013(01)
[9]基于属性加权的改进K-Means算法[J]. 陈东,皮德常. 电脑知识与技术. 2009(09)
[10]组合赋权法新探[J]. 曾宪报. 预测. 1997(05)
博士论文
[1]基于多目标决策的数据挖掘方法评估与应用[D]. 邬文帅.电子科技大学 2015
[2]基于多目标决策的数据挖掘模型选择研究[D]. 王国勋.电子科技大学 2013
[3]基于模糊多属性决策的企业信息化水平评价方法与应用研究[D]. 刘培德.北京交通大学 2010
硕士论文
[1]基于Spark的机器学习模型分析与研究[D]. 侯敬儒.昆明理工大学 2017
[2]基于Spark平台的CURE算法并行化设计与应用[D]. 邱荣财.华南理工大学 2014
本文编号：3288876
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3288876.html
