面向海量数据的实时计算一致性研究

发布时间：2017-04-28 04:05

  本文关键词：面向海量数据的实时计算一致性研究，由笔耕文化传播整理发布。

【摘要】：大数据和云计算等概念和相关技术随社会需求和行业需求的提高得到了飞速发展。在传感网络、气象分析、卫星监控、核模拟和电磁计算等关键领域,数据的产生和处理需求已经到了海量级别,充分利用这些数据,就可以极大的提高企业、机构和国家的生产率与竞争力。目前对海量数据的研究从根本上来说仍然属于大数据处理技术研究的范畴。虽然国内外企业及研究机构对分布式存储和计算都有一定的研究,但是具体到海量数据的分布式存储和计算问题,特别是对多数据中心协同计算环境下的数据一致性这一细分领域的研究相对较少,还不能适应多数据中心协同实时计算所具有的异构性较强、计算任务较重、流程间交互关系复杂的特点。本文对支持海量数据实时计算需求的一致性进行了研究,主要工作如下：通过研究支持海量数据的分布式存储架构、海量数据的副本备份管理策略和多数据中心协同计算的数据一致性机制,分析海量数据实时计算环境的特点和数据一致性需求；针对海量数据实时计算中数据一致性问题需求,基于对数据中心网络技术的研究,提出了能够支持海量数据实时计算的多数据中心协同计算平台架构,并对协同计算平台的数据流程进行了规划；通过对主流计算模型的一致性策略进行分析和对比,结合多数据中心协同计算平台实际,基于p axos算法,分别针对输入数据、中间数据和输出数据构建了数据一致性架构方案,初步解决了海量数据实时计算环境下数据存储、备份和使用中面临的一致性问题。在以上研究和工作的基础上,使用OpenStack建立了多数据中心协同计算平台,并基于此平台验证了本文提出的面向海量数据实时计算的数据一致性架构方案的正确性和有效性。本文的研究成果能够应用于海量数据实时计算环境,为相关产业提供支撑。
【关键词】：海量数据 实时计算 数据中心 paxos 一致性
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP308;TP311.13
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 缩略语对照表10-13
• 第一章 绪论13-21
• 1.1 研究背景及意义13-14
• 1.2 国内外研究现状分析14-17
• 1.2.1 国外研究状况14-16
• 1.2.2 国内研究状况16-17
• 1.2.3 存在的主要问题17
• 1.3 研究思路17-18
• 1.4 本文内容与结构安排18-21
• 第二章 海量数据实时计算相关技术及需求分析21-35
• 2.1 海量数据的实时计算需求21-29
• 2.1.1 海量数据实时计算介绍21-24
• 2.1.2 支持实时计算的数据中心介绍24-28
• 2.1.3 副本数据一致性需求28-29
• 2.2 传统数据中心的一致性研究29-32
• 2.2.1 传统数据中心特点29-30
• 2.2.2 数据一致性主要方法30-32
• 2.3 海量数据实时计算的副本一致性需求32-33
• 2.4 本章小结33-35
• 第三章 实时计算数据的一致性架构设计35-57
• 3.1 多数据中心协同计算平台设计35-39
• 3.2 数据的一致性问题39-42
• 3.3 分布式系统一致性算法paxos介绍42-45
• 3.4 基于paxos算法的实时计算一致性问题解决方案45-55
• 3.4.1 输入数据45-48
• 3.4.2 中间数据48-51
• 3.4.3 输出数据51-55
• 3.5 本章小结55-57
• 第四章 一致性架构在云计算平台上的实现与结果分析57-63
• 4.1 云计算平台OpenStack介绍57-58
• 4.2 多数据中心协同计算平台实现58-60
• 4.3 一致性架构应用实现及测试60-61
• 4.4 结果分析61-62
• 4.5 本章小结62-63
• 第五章 总结和展望63-65
• 5.1 论文总结63
• 5.2 进一步的工作63-65
• 参考文献65-69
• 致谢69-71
• 作者简介71

【相似文献】

中国期刊全文数据库 前10条

1 卢如西;;面向协同计算的人机交互显示平台研究与实现[J];硅谷;2010年23期

2 贺志强;联想集团高级副总裁、联想研究院院长贺志强谈 可信赖的协同计算环境[J];新电脑;2004年04期

3 李永;;基于代理的协同计算模型研究与实现[J];微电子学与计算机;2012年08期

4 陈占龙;吴洁;谢忠;吴亮;;分布式空间信息的对等协同计算机制研究[J];计算机应用研究;2008年07期

5 刘照球;李云贵;刘惠鹏;齐虎;;复杂结构模型的信息集成和协同计算[J];工业建筑;2012年10期

6 陈小军;张t，

本文编号：332064