基于软集合的不完备不一致数据分析及决策方法研究

发布时间：2017-04-30 10:15

  本文关键词：基于软集合的不完备不一致数据分析及决策方法研究，由笔耕文化传播整理发布。

【摘要】：大数据时代下，虽然数据量巨大，但是大量有价值的信息却很少被挖掘出来加以利用。数据量的增加并不会给企业带来利益，只有对数据进行有效适当的分析，对潜藏在数据内部的规律和知识进行挖掘并加以利用，才能发挥数据的真正作用。大数据具有规模性（Volume），多样性（Variety），高速性（Velocity）和低价值性（Value）的4V特征。其中，多样性和低价值性的特点会导致数据集更加容易出现质量问题。不完备和不一致是两种常见的质量问题，而大数据规模巨大，结构复杂的特点，更加加剧了数据不完备和不一致的程度。基于以上原因，数据分析技术面临前所未有的挑战。传统的分析技术对于数据质量较为敏感，在分析具有不完备和不一致数据的时候不能得到可靠结果；同时由于分析手段、分析能力限制，无法实时快速的分析数据量过大、类型复杂的数据。因此，迫切需要新的数据分析方法，可以对不完备不一致数据进行快速有效的分析，发现有价值的知识或信息。 软集合是一种新的处理不确定问题的数学工具，可以克服传统方法参数化工具不足的缺点。因此在分析不确定信息的两个重要表现形式——不完备和不一致数据上具有较大的优势。另外，由于软集合具有不同于传统方法的一些特点，使其在大数据分析中具有巨大潜能。首先，软集合理论对分析对象的类型以及描述对象的形式没有限制，这些对象可以是结构化数据，也可以是半结构化和非结构化数据；可以是确定的数据也可以是不确定的低价值数据。其次，软集合可以直接建立近似模型并求近似解，而不用像传统分析方法需要建立精确模型求解精确解，当无法求得精确解时再通过近似解替代精确解。所以软集合比传统方法具有更好的鲁棒性和更低的时间空间复杂度。因此，本文基于软集合及其扩展理论提出了不完备和不一致数据分析方法，并着重关注了数据分析中的分类决策问题，这些方法不仅扩展了软集合理论的应用范围，而且丰富了不完备不一致数据分析方法，对大数据环境下具体数据分析技术也有一定借鉴意义。 本文首先阐述了研究背景和意义，分析了大数据环境下不完备不一致数据的来源，在对不完备和不一致数据分析方法的相关文献的整理，详细的理论综述基础上，提出了基于软集合的不完备和不一致数据分析及决策方法。本文主要进行了以下几个方面的研究： ①针对已有的基于软集合的不完备数据分析方法存在的计算复杂和分析结果不可靠的缺点，提出了新的数据分析技术——占优方法。该方法采取的是直接分析策略，可以无需对未知数据进行填充，直接对原始数据集进行分析并得到决策结果。通过将占优方法与已有的基于软集合的不完备数据分析方法进行对比分析，结果表明该方法避免了已有方法在同一参数下存在大量未知数据时，决策结果不可靠的缺点。另外，从决策结果可以看出，占优方法比已有的基于软集合的分析方法更加符合软集合的定义。 ②大数据中有众多不确定和描述性数据，这些数据无法用确定的数值型数据描述，只能引入模糊数据，因此有必要对不完备模糊数据的分析方法进行研究。为了克服已有基于模糊软集合的不完备数据分析方法的限制，本文提出证据-模糊软集合的概念。另外还定义两个证据-模糊软集合的FUSE运算，研究了证据-模糊软集合同不完备模糊软集合的关系。根据证据-模糊软集合和证据理论的定义和相关运算，可以对不完备模糊数据进行分析，并提出不完备模糊数据集下的决策算法。该算法无需对未知数据进行填充，而是在决策层面对不完备模糊数据进行融合后，直接得到决策结果。最后，将该方法应用于一个互联网环境下的决策问题的算例中，证明该方法的有效性。 ③数据来源多样决定了大数据中广泛存在不一致数据。针对已有不一致数据分析方法存在计算较为复杂和低效的不足，本文从逻辑推理的角度出发，将次协调推理引入软集合，定义了次协调软集合概念和相关运算。次协调软集合扩展了经典软集合参数表达能力，其参数除了可以表达经典软集中“近似具有”、“近似不具有”的参数含义外，还可以表达参数值“未知”和“不一致”。因此，次协调软集合可以同时分析具有不完备和不一致特征的数据集。根据次协调软集合的定义以及相关运算，本文提出了次协调软决策系统及决策算法，运用该算法可以通过对不完备不一致数据进行分析并得到分类决策结果。为了说明该算法的有效性，，还将其应用于一个存在不完备不一致数据的商业投资决策的算例中。最后，本文还将次协调软集合应用于解决推荐系统多源混合输入问题，提出可以同时考虑多种来源和输入类型的基于次协调软集合混合推荐输入算法，进一步说明次协调软集合的实用性。
【关键词】：软集合 不完备数据 不一致数据 数据分析 决策支持
【学位授予单位】：重庆大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：C934
【目录】：

• 摘要3-5
• ABSTRACT5-10
• 1 绪论10-22
• 1.1 研究背景和意义10-15
• 1.2 研究思路及研究内容15-17
• 1.2.1 研究思路15-16
• 1.2.2 研究内容16-17
• 1.3 本文创新之处17-22
• 2 相关基础理论及文献综述22-42
• 2.1 不完备数据分析方法研究现状22-27
• 2.1.1 不完备数据产生的原因22-23
• 2.1.2 不完备数据分析方法综述23-27
• 2.2 不一致数据分析方法研究现状27-32
• 2.2.1 不一致数据产生的原因27-28
• 2.2.2 不一致数据分析方法综述28-32
• 2.3 软集合理论及应用研究现状32-40
• 2.3.1 软集合理论研究现状33-34
• 2.3.2 软集合应用研究现状34-36
• 2.3.3 软集合基本概念36-38
• 2.3.4 软集合与部分数据分析方法对比38-40
• 2.4 本章小结40-42
• 3 基于软集合的不完备数据分析及决策方法研究42-56
• 3.1 引言42-43
• 3.2 基于软集合的不完备数据分析方法43-47
• 3.2.1 平均权重方法43-44
• 3.2.2 对象-参数方法44-46
• 3.2.3 方法有效性及其限制46-47
• 3.3 基于软集合的占优方法47-50
• 3.3.1 占优方法的基本概念47-49
• 3.3.2 决策算法步骤49
• 3.3.3 算例分析49-50
• 3.4 实例计算和结果分析50-54
• 3.4.1 信息系统质量评价问题50-53
• 3.4.2 互联网环境下的决策问题53-54
• 3.5 本章小结54-56
• 4 基于证据-模糊软集合的不完备数据分析及决策方法研究56-66
• 4.1 引言56-57
• 4.2 证据-模糊软集合57-62
• 4.2.1 证据理论58-60
• 4.2.2 证据-模糊软集合的基本概念60-61
• 4.2.3 证据-模糊软集合和不完备模糊软集合的关系61-62
• 4.3 基于证据-模糊软集合的不完备数据分析及决策方法62-65
• 4.3.1 决策算法步骤62-63
• 4.3.2 模拟计算和结果分析63-65
• 4.4 本章小结65-66
• 5 基于次协调软集合的不完备不一致数据分析及决策方法研究66-92
• 5.1 引言66-67
• 5.2 次协调软集合67-73
• 5.2.1 次协调逻辑67-68
• 5.2.2 次协调软集合的定义68-71
• 5.2.3 次协调软集合的运算71-73
• 5.3 基于协调软集合的不完备不一致数据分析及决策方法73-79
• 5.3.1 次协调软决策系统73-75
• 5.3.2 决策算法步骤75
• 5.3.3 模拟计算和结果分析75-79
• 5.4 基于次协调软集合的不一致混合输入推荐算法79-90
• 5.4.1 基于次协调软集合的混合输入算法80-83
• 5.4.2 基于不一致混合输入的 Soft-HeatS+ProbS 推荐算法研究83-86
• 5.4.3 模拟计算和结果分析86-90
• 5.5 本章小结90-92
• 6 主要结论与进一步研究方向92-96
• 6.1 主要结论92-93
• 6.2 进一步研究方向93-96
• 致谢96-98
• 参考文献98-112
• 附录112
• A.作者在攻读学位期间发表的论文目录112
• B.目前外审稿件112
• C.攻读博士期间参加的主要科研项目112

【相似文献】

中国期刊全文数据库 前10条

1 黄成明;;如何做促销活动的数据分析[J];中国服饰;2011年12期

2 曹建玲;;从数据分析谈统计特色[J];价值工程;2012年15期

3 古福;;让大数据分析更快速、更简化[J];互联网周刊;2013年11期

4 ;数据分析[J];证券导刊;2005年01期

5 ;数据分析[J];证券导刊;2005年02期

6 ;数据分析[J];证券导刊;2005年03期

7 ;数据分析[J];证券导刊;2005年06期

8 ;数据分析[J];证券导刊;2005年09期

9 ;数据分析[J];证券导刊;2005年10期

10 嵇丽 ,魏慧琼;数据分析[J];证券导刊;2005年11期

中国重要会议论文全文数据库 前10条

1 申敏;;数据分析的原则和一般方法[A];2010年云南电力技术论坛论文集（文摘部分）[C];2010年

2 刘刚;;小学生数据分析观念的培养[A];中华教育理论与实践科研论文成果选编(第五卷)[C];2013年

3 石勇;;在银行和金融数据分析中的评分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吴一平;;基于数据分析的离校工作改进[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

5 吕大青;;送变电施工企业中数据分析的运用[A];第二届浙江中西部科技论坛论文集（第一卷）[C];2005年

6 李小花;李姝;;大数据分析在指挥信息系统中的应用[A];2014第二届中国指挥控制大会论文集（下）[C];2014年

7 范丽伟;唐焕文;唐一源;;空间独立成分分析在fMRⅠ数据分析中的应用[A];第九次全国生物物理大会学术会议论文摘要集[C];2002年

8 张军;李婕;;中国国民休闲状态变化研究——基于网上数据分析[A];第十五届全国区域旅游学术开发研讨会暨度假旅游论坛论文册[C];2010年

9 徐小龙;王汝传;姜波;;一种新的基于P2P的电信海量数据分析业务模式[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年

10 邵东华;;高速公路的平面控制复测与数据分析[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

中国重要报纸全文数据库 前10条

1 周桂生　汤建国;数据分析行业登陆湖南,带来巨大商机[N];中国企业报;2008年

2 朱文明 甫瀚公司咨询专家;数据分析提升决策智慧[N];中国审计报;2009年

3 ;国采中心空调协议供货数据分析[N];政府采购信息报;2010年

4 武虹 审计署驻沈阳特派办;以数据分析为统领开展数字化审计工作[N];中国审计报;2012年

5 本报记者 邹大斌;大数据分析走亲民路线[N];计算机世界;2013年

6 袁绍军;大数据分析 亟待具备的新能力[N];政府采购信息报;2013年

7 昆山工商局 刘连珠 朱纳新;基层工商分局登记数据分析科学性浅见[N];江苏经济报;2013年

8 记者 朱贤佳;大数据不能做什么[N];上海证券报;2014年

9 程兆锯;数据分析是投标生命[N];医药经济报;2014年

10 晓航;数据分析与网络营销[N];中国质量报;2010年

中国博士学位论文全文数据库 前5条

1 董媛香;基于软集合的不完备不一致数据分析及决策方法研究[D];重庆大学;2014年

2 张睿;数据分析在污染控制领域的节能优化应用[D];中国科学技术大学;2014年

3 陈宜治;函数型数据分析若干方法及应用[D];浙江工商大学;2011年

4 郭广报;基于并行统计计算的金融数据分析[D];山东大学;2012年

5 孙建强;生物磁共振数据分析中的几个问题[D];中国科学院研究生院（武汉物理与数学研究所）;2014年

中国硕士学位论文全文数据库 前10条

1 刘丽霞;配方产品数据分析研究[D];中国海洋大学;2008年

2 杨建新;数据大集中模式下数据分析在纳税评估中的应用[D];河北大学;2010年

3 田浩;基于数据分析的ATM运营管理设计与应用[D];吉林大学;2013年

4 王诚;基于函数型数据分析的证券投资收益研究[D];首都经济贸易大学;2014年

5 陈富汉;基于Hadoop的云平台在海量Web数据分析中的应用研究[D];西安科技大学;2014年

6 金鑫;标准化报表的数据分析在电信财务收入系统中的应用[D];电子科技大学;2010年

7 翁佳雷;网络实时分析系统的分析平台设计与实现[D];北京邮电大学;2014年

8 于铁夫;基于RUP的涉税数据分析成果转化系统的设计与实现[D];西安电子科技大学;2009年

9 寇佳;基于数据分析的项目决策方法实践研究[D];上海交通大学;2012年

10 张蕾蕾;基于函数型数据分析的期货价格曲线形态识别[D];华南理工大学;2014年

  本文关键词：基于软集合的不完备不一致数据分析及决策方法研究，由笔耕文化传播整理发布。

本文编号：336677