面向海量新闻数据的HDFS节能存储策略

发布时间：2018-08-20 12:32

【摘要】：基于新闻数据的访问规律,提出一种改进的Hadoop分布式文件系统(HDFS),利用数据节点分区、文件迁移和节点待机等策略,使部分无任务的节点处于待机状态,实现系统高效节能存储。改进传统HDFS的写文件机制,将数据块优先写入剩余空间最大且处于活动状态的节点中,使同一时段内创建的文件尽量分散至不同节点,增加节点待机概率,同时解决集群数据分布不均的问题。实验结果表明,应用节能存储策略的HDFS相比传统HDFS可降耗20%以上,且99.9%的文件读取响应时间均不受影响,具有较好的数据存储与访问性能。
[Abstract]:Based on the rules of access to news data, an improved Hadoop distributed file system (HDFS),) is proposed, which makes use of the strategies of data node partitioning, file migration and node standby to make some non-task-free nodes in standby state, so that the system can save energy efficiently and save energy. By improving the writing file mechanism of traditional HDFS, the data block is first written to the node with the largest remaining space and is active, so that the files created in the same time period are scattered to different nodes as far as possible, and the standby probability of the nodes is increased. At the same time, the problem of uneven distribution of cluster data is solved. The experimental results show that compared with the traditional HDFS, the HDFS using the energy-saving storage strategy can reduce the consumption by more than 20%, and 99.9% of the file read response time is not affected, so it has better data storage and access performance.
【作者单位】： 重庆大学计算机学院;
【基金】：国家“973”计划基金资助项目“高效可信的虚拟计算环境基础研究”(2011CB302600) 中央高校基本科研业务费专项基金资助项目(CDJZR185502)
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 王春靖;FAT32的优点[J];电脑爱好者;1998年03期

2 何文才;郑钊;刘培鹤;杜敏;;一种基于目录数据分离存储的文件存储方法的研究与实现[J];网络安全技术与应用;2014年01期

3 飞雪散花;;手机文件存储看我的[J];电脑迷;2012年05期

4 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

5 ;金刚指——计算机文件存储的保护神[J];信息安全与通信保密;2001年12期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

8 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

9 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

10 方勇;史跃辉;;浅谈减少地形图电子文件存储冗余的几种方法[J];江西测绘;2006年02期

相关会议论文 前6条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李浩;;基于制播分离的文件存储和传输方式的探讨[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

3 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 袁旦;张智君;;预览时间对颜色判断任务下客体文件存储的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 黄步根;黄政;刘建军;;SANYO数码相机中被删除视频的恢复[A];第26次全国计算机安全学术交流会论文集[C];2011年

相关重要报纸文章 前9条

1 本报记者 郭平;Isilon扩充文件存储产品线[N];计算机世界;2009年

2 本报记者 郭平;容量与性能 一样都不能少[N];计算机世界;2010年

3 张峰;统一存储 业务连续[N];网络世界;2006年

4 清水　编译;基于文件存储大行其道[N];计算机世界;2011年

5 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

6 于翔;让IT如业务般运营的应用路径[N];网络世界;2009年

7 刘一冰;IBM SoNAS专攻高端存储客户[N];电脑商报;2010年

8 清水　编译;云存储：机遇下暗藏挑战[N];计算机世界;2010年

9 沈建苗;互联网存储 你信得过吗[N];计算机世界;2007年

相关硕士学位论文 前10条

1 廖家赵;面向城轨线网的海量小文件存储方法的研究与实现[D];华南理工大学;2015年

2 李长平;基于FastDFS架构的小文件存储系统的设计与实现[D];哈尔滨工业大学;2015年

3 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

4 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

5 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

6 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

7 张聪萍;钱塘分布式文件存储系统性能优化[D];浙江大学;2011年

8 周峰;互联网文件存储服务系统研究[D];华中科技大学;2011年

9 郑钊;专控计算机分离式文件存储的研究[D];西安电子科技大学;2014年

10 何娟;基于分布式文件存储的个人信息融合系统的研究与实践[D];北京邮电大学;2010年

，

本文编号：2193623