基于策略的分布式实时计算系统框架的设计和实现

发布时间：2022-01-15 08:09

　　当前已是大数据时代。随着电子科技的不断发展革新,各种数字设备层出不穷,极大的提高了人类的生产能力、生活质量。同时,在生产、生活过程中,人类把现实世界数据化、产生数据的能力也爆炸式提高。面对前所未有的如此巨大数据量,传统计算机器和计算方法已经无法有效处理或存储数据。于是工业界想到了整合现有计算资源、改变数据处理方法以期达到高效处理数据的目的。这就是大数据处理技术。谷歌,作为世界最大的搜索引擎公司,始终走在分布式系统和并行计算的前列,其三大论文奠定了大数据处理的基础,从此开启了大数据时代。目前,大数据处理系统分为批处理和实时处理系统,开源代表分别是Apache Hadoop批处理框架和Apache Storm实时计算框架。Storm作为实时处理的典型代表拥有广泛的客户群体。本文总结大数据实时处理的各种技术,在总结其规律的基础上,分析设计了一套基于计算拓扑策略的分布式实时计算框架。这个框架既具有一般分布式实时计算框架的特点和优点,又能根据用户计算拓扑灵活搭建计算环境,既满足客户分布式实时计算多样性的需求,又提高了客户开发、部署新应用的效率和可靠性。本论文围绕灵活搭建计算拓扑为最终目的,逐步推... 

【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：103 页

【学位级别】：硕士

【部分图文】：

代码物理组织结构


本文编号：3590248