基于Storm的微博互动平台的设计与实现

发布时间：2023-02-25 20:18

　　过去的十年是数据处理变革的十年，海量的数据对业界的工程师们提出了巨大的挑战，大数据处理、存储技术应运而生。MapReduce、HDFS等相关技术使得前所未有的大规模数据存储和处理变成可能。 但这些处理数据的技术并非为实时处理大数据而设计。随着业务的快速变化、商业模式的不断创新、用户体验个性化、实时化需求的日益突出，海量数据实时处理在商业方面的需求越来大，“实时Hadoop”方面的空缺已经成为大数据处理生态系统中最大的漏洞。而Twitter公司开源的分布式、容错的实时流计算系统Storm则正好填补了该空白。如何运用实时的、分布式的数据流处理框架Storm来提高系统的性能和数据处理的效率，是本论文要探究的问题。 本文以研究生期间参与的研究项目“一找微博互动平台”作为研究对象，深入了解和分析系统存在的数据处理耗时长、资源利用率低等问题。论文使用软件工程的方法，运用迭代式敏捷开发过程和面向对象分析设计等技术，从需求分析、概要设计、详细设计到系统的具体实现和部署等环节进行描述，并介绍了系统的设计与实现过程中运用的各种技术和方法，设计和实现了一个基于Storm的实时数据分析处理系统。最后通过实验，...

【文章页数】：88 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
目录
第一章 前言
    1.1 项目的背景和意义
    1.2 国内外研究现状
    1.3 本论文研究的主要内容和工作
    1.4 论文结构
第二章 技术与原理
    2.1 实时计算介绍
    2.2 STORM 介绍
    2.3 分布式系统相关技术介绍
    2.4 JAVA EE 相关技术
    2.5 本章小结
第三章 系统需求分析
    3.1 系统概述
    3.2 功能性需求分析
    3.3 非功能性需求分析
    3.4 用例分析
    3.5 领域模型分析
    3.6 本章小结
第四章 系统概要设计
    4.1 系统架构设计
    4.2 用例实现
    4.3 数据库设计
    4.4 本章小结
第五章 系统详细设计与实现
    5.1 增量更新模型
    5.2 微博分析模块的设计与实现
    5.3 互动信息模块的设计与实现
    5.4 本章小结
第六章 系统部署与实验
    6.1 开发环境
    6.2 系统部署
    6.3 实验分析
    6.4 运行效果
第七章 总结与展望
    7.1 工作总结
    7.2 工作展望
参考文献
致谢



本文编号：3749126