基于云存储的冗余分片自适应分发策略

发布时间：2018-01-31 19:25

  本文关键词： 云存储 数据交换 负载均衡 冗余分片　出处：《计算机与现代化》2016年01期 　论文类型：期刊论文

【摘要】：水利信息化的发展促进水利大数据的快速增长,在实际生产中发现,水利数据的整合与共享能充分发挥水利大数据的综合效益,但由于各数据中心存储能力不均衡等问题,很容易产生数据交换热点。本文在混合存储模型的研究基础上,根据数据中心之间交换需求量以及数据中心存储能力,设计基于水利数据领域空间特性的冗余分片自适应分发策略,并利用该策略进行数据分片的分发决策。实验表明,该策略能够基本保证各数据中心存储负载趋于均衡。
[Abstract]:The development of water conservancy information promotes the rapid growth of water conservancy big data. In actual production, it is found that the integration and sharing of water conservancy data can give full play to the comprehensive benefits of water conservancy big data. However, due to the uneven storage capacity of the data centers, it is easy to generate data exchange hotspots. This paper is based on the research of hybrid storage model. According to the exchange demand between the data centers and the storage capacity of the data centers, a redundant piecewise adaptive distribution strategy based on the spatial characteristics of the water resources data domain is designed. Experiments show that the strategy can basically ensure that the storage load of each data center tends to be balanced.
【作者单位】： 河海大学计算机与信息学院;
【基金】：国家自然科学基金资助项目(61370091;61170200)
【分类号】：TP333
【正文快照】： 0引言随着云计算与云存储技术的飞速发展,数据存储成为信息处理与网络服务的核心部分,信息技术产业已经迈向以海量数据为核心的面向数据存储的时代,在这样的时代中,数据的安全可靠存储、快速共享交换成为各行各业数据存储领域的研究热点。水利信息化的发展促进水利大数据的快

【参考文献】

相关期刊论文 前1条

1 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

【共引文献】

相关期刊论文 前10条

1 杨进;王亮明;唐德玉;;RS纠删码在电子健康档案云存储中的应用[J];广东药学院学报;2012年04期

2 宋秀丽;陈龙;肖敏;;云存储中支持XOR旋转编码的可恢复性验证方案[J];重庆邮电大学学报(自然科学版);2012年06期

3 万武南;王拓;索望;;一种三容错数据布局[J];电子与信息学报;2013年10期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 杨震;徐敏捷;刘璋峰;秦达;姚晓辉;;语音大数据信息处理架构及关键技术研究[J];电信科学;2013年11期

6 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

7 朱生;牟星亮;;基于云的数据库的研究[J];电脑知识与技术;2014年05期

8 林清滢;冯健文;陆锡聪;;基于Google云平台的ERP系统的设计与实现[J];电脑知识与技术;2014年15期

9 SHI Xiao-long;LAI Shun-nan;;Editing Vector Graphics in the Virtual Simulation Environment[J];Computer Aided Drafting,Design and Manufacturing;2014年02期

10 万武南;杨威;;一种基于阵列结构的4容错数据布局[J];成都信息工程学院学报;2014年03期

相关博士学位论文 前10条

1 庞丽莉;无线网络仪器的时钟同步、定位及数据安全存储算法研究[D];吉林大学;2013年

2 肖宜龙;随机化数据冗余方法及其在存储系统中的应用[D];电子科技大学;2013年

3 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 郑永清;云计算环境面向SaaS多租户的可伸缩数据放置研究[D];山东大学;2013年

6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

7 田小梅;多布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2013年

8 徐达宇;云计算环境下资源需求预测与优化配置方法研究[D];合肥工业大学;2014年

9 程勇;云存储中密文访问控制机制性能优化关键技术研究[D];国防科学技术大学;2013年

10 李惺颖;林地落界数据快速查询技术研究[D];中国林业科学研究院;2014年

相关硕士学位论文 前10条

1 张凯;分布式存储系统中节点修复问题研究[D];西南交通大学;2012年

2 范泉龙;基于秘密共享的多云存储模型研究[D];华东理工大学;2014年

3 王敬轩;分布式文件系统存储效率优化研究[D];华中科技大学;2013年

4 吴昆鹏;对象存储系统的设计与实现[D];中国地质大学（北京）;2014年

5 付园;基于HDFS的优化数据冗余策略的研究[D];吉林大学;2014年

6 蒋向阳;基于Hadoop的云安全存储系统的设计与实现[D];广东工业大学;2014年

7 牛芳;异构存储系统中的节点失效并行化修复研究[D];中国科学技术大学;2014年

8 杜智蒙;开放可伸缩关系数据模型及数据分区策略研究[D];郑州大学;2014年

9 陈梁;基于数字喷泉码的流媒体视频传输机制的研究与设计[D];浙江工业大学;2014年

10 田原;云存储中存储平台与数据安全关键技术研究与实现[D];北京邮电大学;2015年

【二级参考文献】

相关硕士学位论文 前1条

1 郑清吉;安全存储系统中纠删码技术研究[D];上海交通大学;2009年

【相似文献】

相关期刊论文 前10条

1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期

2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期

3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期

4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期

5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期

7 ;挖潜数据中心[J];金融电子化;2004年07期

8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期

9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期

10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期

相关会议论文 前10条

1 姚，

本文编号：1479817