基于集群规模调整的节能存储策略

发布时间：2018-02-09 04:46

本文关键词： Hadoop Hadoop分布式文件系统节能规模调整缓存　出处：《计算机工程与应用》2017年24期 　论文类型：期刊论文

【摘要】：根据谷歌数据中心研究报告,传统数据中心存在高能耗、低利用率的问题。通过研究集群数据块访问规律,提出一种基于集群规模调整的Hadoop分布式文件系统(HDFS)节能存储策略,实现HDFS高效节能存储。策略主要在集群区域划分、数据块迁移策略优化、缓存机制等方面作出了改进。实验结果表明:使用该节能策略的HDFS比传统HDFS节能35%～40%,其中0.3%的访问需要唤醒服务器,同时引入缓存策略对集群的性能提高了5.1%。
[Abstract]:According to the research report of Google data Center, the traditional data center has the problems of high energy consumption and low utilization ratio. By studying the rules of cluster data block access, this paper proposes an energy-saving storage strategy for Hadoop distributed file system (HDFS) based on cluster size adjustment. The strategy is mainly divided into cluster areas, and the data block migration strategy is optimized. The experimental results show that the HDFS using this strategy saves 35 times more energy than the traditional HDFS, and 0.3% of the access needs to wake up the server, and the performance of the cluster is improved by 5.1 by introducing the cache policy.
【作者单位】：重庆大学计算机学院;信息物理社会可信服务计算教育部重点实验室;
【基金】：国家高技术研究发展计划(863)(No.2015AA015308) 中央高校业务基金项目(No.106112014CDJZR188801) 国家自然科学基金(No.61402020) 重庆市教育委员会重庆市研究生教育优质课程(No.201507)
【分类号】：TP333

【相似文献】