大数据平台管理系统的设计与实现

发布时间：2021-12-23 08:54

　　在现今社会的诸多领域,大数据能够带来的价值已经的吸引了越来越多人的注意。由于人们的关切让大数据相关技术快速发展、在国家战略方针、学术上探究和生活生产中的应用广泛的展开,现今很多国家将发展大数据写入国家未来蓝图的规划中,中国在大数据方面的取得进步更是有目共睹的,智慧城市,无人公交车已经落地。现实生活中对挖掘海量数据中潜在某种特殊规律的欲望没有被满足,掌握大数据技术的人员仅仅停留使用平台做事对于平台的搭建以及平台组件的组合不了解,从整体来看对大数据的应用初具规模,企业对大数据平台的有效管理迫切需要。大数据平台管理系统是在某公司实习期间切合具体业务开发的,公司有大数据平台但是对于集群的管理和集群的扩容需要花费大量的时间,一千个人有一千种出错的方式,因此需要一个平台来规范数据平台的搭建与维护。在彻底掌握公司的大数据平台的整体架构后,开始着手开发切合公司业务流程的大数据平台管理系统,并结合之前的安装经验与Java Web开发技术以及公司具体的业务流程,可以更好的开发系统,相比于业界的Hadoop cdh也提供页面的提供扩容工具,但是只能扩展Hadoop,而本系统不但可以扩展Hadoop还能扩展s...

【文章来源】： 华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：57 页

【文章目录】：
摘要
Abstract
1 绪论
    1.1 课题来源及研究意义
    1.2 国内外发展现状
    1.3 主要内容
2 数据平台的概述
    2.1 HADOOP生态的介绍
    2.2 大数据平台常用组件介绍
    2.3 本章小结
3 系统需求分析与设计
    3.1 系统需求分析
    3.2 系统总体设计
    3.3 系统主要功能模块设计
    3.4 系统数据库设计
    3.5 本章小结
4 系统实现
    4.1 系统开发环境
    4.2 系统主要功能模块实现
    4.3 本章小结
5 系统测试
    5.1 系统测试环境
    5.2 系统测试内容
    5.3 系统功能测试
    5.4 系统性能测试
    5.5 本章小结
6 总结与展望
    6.1 全文总结
    6.2 展望
致谢
参考文献


【参考文献】：
期刊论文
[1]分布式组件Zookeeper事务一致性探析 [J]. 刘冬鸣.  信息通信. 2017(06)
[2]数据平台的设计和实现以及大赛中的应用 [J]. 王永坤,金耀辉.  计算机科学与探索. 2018(01)
[3]大数据与社会治理创新 [J]. 杨安.  观察与思考. 2017(03)
[4]基于Zookeeper的国土资源档案分布式查询框架设计与实现 [J]. 顾乾斌,潘善亮.  移动通信. 2017(05)
[5]云计算分布式缓存技术在海量数据处理平台中的应用 [J]. 段春梅.  智能计算机与应用. 2016(01)
[6]分布式环境下基于ZooKeeper服务的数据同步研究 [J]. 何慧虹,王勇,史亮.  信息网络安全. 2015(09)
[7]大数据平台的关键技术及组网方案 [J]. 于富东.  电信科学. 2015(07)
[8]移动运营商的大数据发展策略研究 [J]. 陈淑梅.  信息通信. 2014(06)
[9]基于可信第三方的公有云平台的数据安全存储方案 [J]. 王威,吴羽翔,金鑫,李宁滨.  信息网络安全. 2014(02)
[10]大数据引发信息时代新变革 [J]. 厉剑,张绍雄,刘俊杰,李成柱.  大众科技. 2013(12)

硕士论文
[1]基于hadoop的农业电子商务数据平台构建关键技术研究[D]. 陈浩.华中师范大学. 2015
[2]大数据自助分析系统的设计与实现[D]. 李志科.哈尔滨工业大学. 2014
[3]福州电信业务数据自助采集平台的设计与实现[D]. 江文哲.电子科技大学. 2013
[4]Hadoop平台下的海量数据存储技术研究[D]. 邰建华.东北石油大学. 2012
[5]基于HDFS的海量分布式文件系统的研究与优化[D]. 付东华.北京邮电大学. 2012



本文编号：3548181