基于Hadoop海量数据微博系统的设计与实现
发布时间：2022-01-06 16:35
近年来，社会化网络服务在国内开始兴起。微博从一个新兴的社会化网络平台的概念，逐步走近用户，被越来越多的用户接纳并使用，这个容量只有140个字，通过手机或电脑随时随地阅读、更新、联络的服务不断在改写着信息传播的历史。伴随而来的是网站对数据库高并发读写的需求，对海量数据的高效率存储和访问的需求以及对数据库的高可扩展性和高可用性的需求都在日益增加。目前主流微博主要使用的是Mysql数据库的分布式实践来提供数据支持。但是目前来看，仍有几个问题没有很好的解决就是如何实现系统易于扩展、低延迟、高可用和异地分布、可监控以及去中心化。本文旨在通过构建基于Hadoop的海量数据微博系统来解决这几个问题。Hadoop框架的底层实现部分HDFS分布式文件系统，具有高容错性、高传输率等特点，访问文件系统中的数据可以以流的形式，从而解决安全性问题和访问速度，实现海量数据的存储管理。建立在HDFS之上的HBase，提供高性能、高可靠性、可伸缩、列存储、实时读写的数据库系统。MapReduce是一种编程模型，用于大规模数据集的并行运算。Hadoop上的HDFS、MapReduce和HBase可以说是Hadoop的三...
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：70 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题背景及意义
1.2 云存储系统的国内外研究现状
1.3 主要研究工作
1.4 论文组织结构
第2章 关键技术
2.1 HDFS 分布式文件系统
2.2 HBase 分布式数据库
2.3 MapReduce 数据处理编程模型
2.3.1 MapReduce 简介
2.3.2 MapReduce 算法
2.4 Hadoop 与传统关系型数据库的比较
2.5 本章小结
第3章 基于 Hadoop 微博系统需求分析
3.1 业务流程分析
3.2 系统需求分析
3.2.1 系统用户分类
3.2.2 系统基本功能
3.3 非功能性需求分析
3.4 本章小结
第4章 基于 Hadoop 微博系统设计
4.1 系统总体架构设计
4.1.1 系统逻辑架构
4.1.2 系统技术结构
4.2 系统及网络安全策略
4.3 系统功能结构
4.4 处理流程设计
4.5 数据库结构
4.6 本章小结
第5章 基于 Hadoop 微博系统实现
5.1 用户模块
5.1.1 用户注册模块
5.1.2 用户注册模块
5.1.3 个人信息管理模块
5.2 内容发布模块
5.2.1 发布微博模块
5.2.2 转发微博模块
5.2.3 发布评论模块
5.3 关注模块
5.3.1 关注用户模块
5.3.2 查看关注用户的微博模块
5.4 搜索服务模块
5.5 同步服务模块
5.6 管理后台模块
5.6.1 权限管理模块
5.6.2 认证管理模块
5.6.3 审核管理模块
5.7 应用效果分析
5.7.1 系统安装
5.7.2 系统启动
5.7.3 功能测试报告
5.7.4 兼容性测试报告
5.7.5 测试结果
5.8 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]浅议云计算时代下GIS的发展[J]. 戴立乾,陈娜. 安徽农业科学. 2009(31)
[2]云计算:计算以外的安全性[J]. 木同. 互联网天地. 2009(08)
[3]云计算对图书馆事业的双重影响[J]. 肖鹏. 图书馆学研究. 2009(08)
[4]云计算给图书馆管理带来挑战[J]. 胡小菁,范并思. 大学图书馆学报. 2009(04)
[5]云计算到底离企业有多远[J]. 王娟. 山西电教. 2009(02)
[6]云计算到底离企业有多远[J]. 王娟. 山西电教. 2009 (02)
[7]云计算改善数字图书馆用户体验初探[J]. 周舒,张岚岚. 图书馆学研究. 2009(04)
[8]云计算技术在图书馆中的应用探讨[J]. 李永先,栾旭伦,李森森. 江西图书馆学刊. 2009(01)
[9]浅析云计算与信息安全[J]. 谢四江,冯雁. 北京电子科技学院学报. 2008(04)
本文编号：3572800
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：70 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题背景及意义
1.2 云存储系统的国内外研究现状
1.3 主要研究工作
1.4 论文组织结构
第2章 关键技术
2.1 HDFS 分布式文件系统
2.2 HBase 分布式数据库
2.3 MapReduce 数据处理编程模型
2.3.1 MapReduce 简介
2.3.2 MapReduce 算法
2.4 Hadoop 与传统关系型数据库的比较
2.5 本章小结
第3章 基于 Hadoop 微博系统需求分析
3.1 业务流程分析
3.2 系统需求分析
3.2.1 系统用户分类
3.2.2 系统基本功能
3.3 非功能性需求分析
3.4 本章小结
第4章 基于 Hadoop 微博系统设计
4.1 系统总体架构设计
4.1.1 系统逻辑架构
4.1.2 系统技术结构
4.2 系统及网络安全策略
4.3 系统功能结构
4.4 处理流程设计
4.5 数据库结构
4.6 本章小结
第5章 基于 Hadoop 微博系统实现
5.1 用户模块
5.1.1 用户注册模块
5.1.2 用户注册模块
5.1.3 个人信息管理模块
5.2 内容发布模块
5.2.1 发布微博模块
5.2.2 转发微博模块
5.2.3 发布评论模块
5.3 关注模块
5.3.1 关注用户模块
5.3.2 查看关注用户的微博模块
5.4 搜索服务模块
5.5 同步服务模块
5.6 管理后台模块
5.6.1 权限管理模块
5.6.2 认证管理模块
5.6.3 审核管理模块
5.7 应用效果分析
5.7.1 系统安装
5.7.2 系统启动
5.7.3 功能测试报告
5.7.4 兼容性测试报告
5.7.5 测试结果
5.8 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]浅议云计算时代下GIS的发展[J]. 戴立乾,陈娜. 安徽农业科学. 2009(31)
[2]云计算:计算以外的安全性[J]. 木同. 互联网天地. 2009(08)
[3]云计算对图书馆事业的双重影响[J]. 肖鹏. 图书馆学研究. 2009(08)
[4]云计算给图书馆管理带来挑战[J]. 胡小菁,范并思. 大学图书馆学报. 2009(04)
[5]云计算到底离企业有多远[J]. 王娟. 山西电教. 2009(02)
[6]云计算到底离企业有多远[J]. 王娟. 山西电教. 2009 (02)
[7]云计算改善数字图书馆用户体验初探[J]. 周舒,张岚岚. 图书馆学研究. 2009(04)
[8]云计算技术在图书馆中的应用探讨[J]. 李永先,栾旭伦,李森森. 江西图书馆学刊. 2009(01)
[9]浅析云计算与信息安全[J]. 谢四江,冯雁. 北京电子科技学院学报. 2008(04)
本文编号：3572800
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3572800.html
