基于Hadoop技术的数字化校园海量数据存储系统研究与设计

发布时间：2018-05-27 08:24

  本文选题：Hadoop + MapReduce　； 参考：《实验技术与管理》2015年09期

【摘要】：基于Hadoop技术开发了数字化校园海量数据存储系统,提出了基于Hadoop的大数据存储模型。将整个系统设计为系统管理、业务应用、数据处理、数据采集等4个大模块,采用开源分布式数据处理框架,高效处理海量数据。系统具有可伸缩性、高可靠性、低成本和高效性等优点,解决了传统数据处理成本高、数据管理困难、可靠性低、效率低、并行处理程序编写困难等诸多问题。
[Abstract]:The mass data storage system of digital campus is developed based on Hadoop technology, and the big data storage model based on Hadoop is proposed. The whole system is designed as four modules: system management, business application, data processing and data acquisition. It adopts open source distributed data processing framework to deal with massive data efficiently. The system has the advantages of scalability, high reliability, low cost and high efficiency. It solves many problems such as high cost of traditional data processing, difficulty in data management, low reliability, low efficiency, difficulty in programming parallel processing programs, and so on.
【作者单位】： 海军工程大学训练部;
【分类号】：TP333

【参考文献】

相关期刊论文 前8条

1 冯少荣;基于XML的Web数据集成技术的研究[J];计算机应用与软件;2005年07期

2 姜婷婷;乜勇;;我国数字化校园研究的现状与反思[J];中国教育信息化;2013年13期

3 刘文杰;林乐春;李凤岐;薛强;;VLAN技术在校园网实验中的应用[J];实验技术与管理;2009年03期

4 刘师语;周渊平;杜江;;基于HADOOP分布式系统的数据处理分析[J];通信技术;2013年09期

5 孟永伟;黄建强;曹腾飞;王晓英;;Hadoop集群部署实验的设计与实现[J];实验技术与管理;2015年01期

6 郗俊强;;云计算中的数据管理关键技术及其应用[J];无线互联科技;2011年08期

7 郑启龙;房明;汪胜;王向前;吴晓伟;王昊;;基于MapReduce模型的并行科学计算[J];微电子学与计算机;2009年08期

8 曹英忠;谢晓兰;赵鹏;;基于Hadoop的云存储实践[J];现代计算机(专业版);2011年24期

相关硕士学位论文 前2条

1 金松昌;基于HDFS的多用户并行文件IO的设计与实现[D];国防科学技术大学;2010年

2 皮莹莹;处理海量数据的异构数据库访问中间件的设计与实现[D];南京邮电大学;2013年

【共引文献】

相关期刊论文 前10条

1 肖路;谢军;;基于XML的异构地理数据交换的设计与实现[J];重庆工学院学报(自然科学版);2007年09期

2 傅荣校;叶斌;;政务信息管理与数据库管理技术的适用性研究[J];档案学通讯;2007年06期

3 杨U，

本文编号：1941232