基于Hadoop的海量数据存储系统设计

发布时间：2018-04-23 00:08

  本文选题：Hadoop分布式存储、并行计算 + 海量数据　； 参考：《科技通报》2014年09期

【摘要】：随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。
[Abstract]:With the widespread popularization of Internet applications, the network data information of the Internet has been explosively growing. In order to realize the intelligent analysis, storage and management of the massive, complex and unordered network information data resources, the architecture of the massive network data storage system is analyzed. A storage management system for network data based on cloud computing is proposed. The operation shows that the system can efficiently accomplish the management and analysis of massive data. It has high efficiency, safe and reliable system, easy to maintain and has good scalability.

【作者单位】： 黄淮学院信息工程学院;
【分类号】：TP333

【参考文献】

相关期刊论文 前3条

1 程莹;张云勇;徐雷;房秉毅;;基于Hadoop及关系型数据库的海量数据分析研究[J];电信科学;2010年11期

2 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

3 陈庆奎;周利珍;;基于HBase的大规模无线传感网络数据存储系统[J];计算机应用;2012年07期

【共引文献】

相关期刊论文 前10条

1 盖玲;;基于云计算的安全服务研究[J];电信科学;2011年06期

2 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期

3 王苏卫;;基于Hadoop和Hive的电信行业数据仓库研究[J];电子技术与软件工程;2013年11期

4 钟锐;刘立刚;;基于Map-Reduce的FP-Growth算法研究[J];赣南师范学院学报;2013年06期

5 郭荔荔;李敬兆;;基于云存储的井下人员定位数据处理[J];电脑知识与技术;2014年04期

6 辛晃;易兴辉;陈震宇;;基于Hadoop+MPP架构的电信运营商网络数据共享平台研究[J];电信科学;2014年04期

7 王蒙;景旭;李书琴;戴涛;王晓琴;;基于Hbase的农业微博数据存储与处理策略[J];中国农机化学报;2014年03期

8 赵建光;;云计算环境下并行分布式数据挖掘平台研究[J];电脑开发与应用;2014年07期

9 陈磊;封朝永;;HBase下时态信息索引策略研究[J];广东工业大学学报;2014年03期

10 唐世庆;李云龙;田凤明;胡海荣;;基于Hadoop的云计算与存储平台研究与实现[J];四川兵工学报;2014年08期

相关会议论文 前2条

1 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

2 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技术与信息系统国际会议论文集[C];2013年

相关硕士学位论文 前10条

1 王贤伟;基于Hadoop的外观专利图像检索系统的研究与实现[D];广东工业大学;2011年

2 泰冬雪;基于Hadoop的海量小文件处理方法的研究[D];辽宁大学;2011年

3 郭逸重;Hadoop分布式数据清洗方案[D];华南理工大学;2012年

4 崔杰;北部湾海洋科学数据处理云平台框架的研究与设计[D];广西大学;2012年

5 王皎;基于Hadoop平台的作业调度技术研究[D];西安建筑科技大学;2012年

6 陈光景;Hadoop小文件处理技术的研究和实现[D];南京邮电大学;2013年

7 啜俊娜;基于Hadoop的分布式文件存储服务平台设计与实现[D];浙江大学;2012年

8 成飞龙;基于Hadoop的海量传感数据管理系统[D];南京理工大学;2013年

9 时睿;基于数据挖据的商品推荐系统研究和实现[D];上海交通大学;2013年

10 刘晓娟;省地县一体化电力调度管理系统通用权限方案[D];大连理工大学;2013年

【二级参考文献】

相关期刊论文 前4条

1 童晓渝;张云勇;戴元顺;;从公众通信网向公众计算通信网演进[J];电信科学;2010年06期

2 李俊,李勇;联邦式异构数据库应用系统的集成框架和实现技术的研究[J];计算机应用研究;2001年04期

3 余华鸿;李颖;张玉川;;数据仓库概述[J];科技信息(科学教研);2007年13期

4 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

【相似文献】

相关期刊论文 前10条

1 ;EMC ISILON推出针对海量数据的全球最大单一文件系统[J];微电脑世界;2011年06期

2 姚书怀,刘兴伟;大型数据中心海量数据存储解决方案的设计[J];西华大学学报(自然科学版);2004年S1期

3 段红英;;浅谈海量数据存储中的几个问题[J];甘肃科技纵横;2009年01期

4 ;光存储系统在海量数据存储市场中的重要作用[J];激光与光电子学进展;1994年07期

5 张越;;海量存储新丁Seagate Barracuda ES2 7.2K SAS 1TB[J];个人电脑;2008年06期

6 赵瑞峰;汤晓安;干哲;;基于集群技术的海量数据存储技术研究[J];微计算机信息;2010年16期

7 雷涛;;利用SAN技术构建数字图书馆存储系统[J];丽水学院学报;2008年01期

8 李凯;;海量数据存储技术[J];有线电视技术;2006年10期

9 陈羲;高冰生;郭冰;;黄河数据中心海量数据存储方案应用研究[J];科技资讯;2009年36期

10 邵志举;;海量数据高效存储与管理研究 一种高效海量数据存储、管理与实时发布方案[J];职业圈(现代软科学);2006年03期

相关会议论文 前5条

1 卢朝霞;习捷;王剑;;基于数据库分区的海量数据存储技术的研究[A];2006中国控制与决策学术年会论文集[C];2006年

2 张大华;丁辉;吴向阳;赵毅强;孙毓忠;;面向智能电网的电力云计算架构[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

3 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

4 高世峰;吴迪;陈正捷;;“云计算”及其应用研究初探[A];全国第二届信号处理与应用学术会议专刊[C];2008年

5 蔡涛;鞠时光;牛德姣;;开放式安全存储区域网模拟平台[A];第15届全国信息存储技术学术会议论文集[C];2008年

相关重要报纸文章 前10条

1 北京亚细亚智业科技有限公司产品市场经理 李炼;让数据备份更简单[N];中国计算机报;2005年

2 本报记者 谢文砚;Nocona家族再添新丁 64位市场暗战加剧[N];中国计算机报;2005年

3 ;东芝发布高容量DVD－RAM驱动器[N];计算机世界;2000年

4 记者 陈杰;UIT首推8Gb光纤中高端存储系统[N];科技日报;2009年

5 ;联想SureFibre620存储服务器[N];计算机世界;2004年

6 郭涛;“智商”从分散到集中[N];中国计算机报;2003年

7 ;光盘库保海量数据安全[N];中国计算机报;2003年

8 ;为数字图书馆保驾护航[N];中国计算机报;2003年

9 ;iSCSI拉近SAN与中小企业的距离[N];中国计算机报;2003年

10 凡妮;曙光超级服务器4000L增强运算能力[N];电脑商报;2003年

相关博士学位论文 前2条

1 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

2 刘霖;分布式存储系统中的能耗管理策略研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 张喜;海量数据存储模式的研究[D];广东工业大学;2012年

2 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年

3 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年

4 马文杰;基于CAP理论的海量数据存储研究与应用[D];苏州大学;2013年

5 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年

6 苗帅;海量数据存储与全文检索[D];江苏科技大学;2011年

7 田爱雪;基于海量数据存储的性能测试与优化研究[D];长春理工大学;2014年

8 邵林;高速海量数据存储技术研究[D];国防科学技术大学;2007年

9 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年

10 陆鹏超;MiniQQ项目的数据存储模块的设计与实现[D];哈尔滨工业大学;2012年

，

本文编号：1789546