大数据存储架构和算法研究综述

发布时间：2018-10-19 16:54

【摘要】：随着大数据计算需求的增长,集群的处理速度需要得到快速的提升,然而目前大数据处理框架的处理性能已逐渐满足不了这种快速增长的需求。由于集群的存储架构是分布式存储,因此数据的存放在大数据处理过程中成为影响集群的处理性能的因素之一。首先,对当今的分布式文件存储系统的结构进行了介绍;接着,根据不同的优化目标,例如减少网络负载、负载均衡、降低能耗和高容错性等,对近年国内外大数据存储算法的研究进行了总结,分析和对比了已有算法的优点以及存在的问题;最后,对大数据存储架构和优化算法设计的挑战和未来研究方向作了展望。
[Abstract]:With the increase of big data computing demand, the processing speed of cluster needs to be improved rapidly. However, at present, the processing performance of big data processing framework can not meet the demand of rapid growth. Because the storage architecture of cluster is distributed storage, the storage of data becomes one of the factors that affect the processing performance of cluster in the process of big data processing. Firstly, the structure of distributed file storage system is introduced. Then, according to different optimization objectives, such as reducing network load, load balancing, reducing energy consumption and high fault tolerance, etc. This paper summarizes the research of big data storage algorithm at home and abroad in recent years, analyzes and compares the advantages and problems of the existing algorithms, and finally, the challenges and future research directions of big data storage architecture and optimization algorithm design are prospected.
【作者单位】： 长沙理工大学计算机与通信工程学院;综合交通运输大数据智能处理湖南省重点实验室(长沙理工大学);国防科技大学计算机学院;
【基金】：国家自然科学基金资助项目(61402056,61303066) 湖南省教育厅科研项目(14C0030)~~
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 何军;上海电信基于开放存储架构开展“数据金库”探讨[J];通信世界;2002年29期

2 董唯元;;云计算下的新型存储架构[J];中国教育信息化;2011年17期

3 廖健;;存储架构体系发展及在电信支撑系统中的应用[J];中国新通信;2013年17期

4 张海勇;倪锦萍;戴双玲;赵森林;范庆强;;浅析企业私有云中的存储架构[J];中国管理信息化;2014年04期

5 韩志国;;2006存储大会：IBM的存储整和及虚拟化[J];中国传媒科技;2006年05期

6 许新光;;播出服务器的网络存储架构对播出安全的影响[J];广播与电视技术;2007年09期

7 康翔;将存储进行到底[J];中国计算机用户;2001年13期

8 谭章禄;王印红;;企业数据中心存储架构比较及经济分析[J];统计与决策;2007年23期

9 顾邦军;王福来;田毅;万华明;;教学资源的云存储架构研究[J];福建电脑;2013年09期

10 ;“数据经济”变革[J];微电脑世界;2013年12期

相关会议论文 前3条

1 时涛;;播出系统中二级缓存存储架构的探讨[A];自主创新与持续增长第十一届中国科协年会论文集（4）[C];2009年

2 时涛;;播出系统中二级缓存存储架构的探讨[A];数字电视产业与三网融合学术研讨会论文集[C];2009年

3 毕江;张伟;黄正兵;;电视台高清网络化节目制播体系新闻制播业务系统存储架构设计思路和实现方案[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

相关重要报纸文章 前10条

1 本报记者 郭平;惠普虚拟化助存储架构转型[N];计算机世界;2009年

2 ;存储架构迎接“云计算”时代[N];网络世界;2009年

3 付红;创新科推出弹性云存储架构[N];人民邮电;2010年

4 本报记者 郭平;存储架构保驾云数据安全[N];计算机世界;2013年

5 艾文;IPStor+Oracle9i=简化存储架构[N];中国计算机报;2002年

6 记者 柴莎莎;存储的统一革命[N];网络世界;2012年

7 David Merrill;善用存储经济学[N];中国计算机报;2009年

8 本报记者 郭平;惠普统一存储:重在提高数据管理能力[N];计算机世界;2010年

9 本报记者 郭涛;智慧运算 优化先行[N];中国计算机报;2011年

10 赵虹;绿色存储架构提供灵动方案选择[N];中国高新技术产业导报;2007年

相关硕士学位论文 前7条

1 刘志龙;面向多层存储架构的I/O优化技术研究[D];国防科学技术大学;2014年

2 宗旋;多云协同存储架构及方法研究[D];西安电子科技大学;2014年

3 张丽君;一种无主控制的云存储架构的研究[D];大连理工大学;2011年

4 陈成;一种基于FPGA云存储架构的关键技术研究[D];云南大学;2014年

5 孙宝华;基于Dynamo的存储机制研究[D];西安电子科技大学;2013年

6 刘衍森;基于Hadoop的全分布式存储架构研究[D];西安电子科技大学;2013年

7 陈之晗;电视制播网中网络存储性能的优化设计[D];黑龙江大学;2010年

，

本文编号：2281755