面向新闻大数据的节能存储策略研究

发布时间：2017-04-20 17:11

  本文关键词：面向新闻大数据的节能存储策略研究，由笔耕文化传播整理发布。

【摘要】：随着大数据时代的到来,作为其基础服务载体的数据中心也随之迅猛发展。大数据产业繁荣的背后,带来的却是耗电量暴涨、环境污染增加、土地资源消耗等不可避免的问题。就能耗而言,耗电量的成倍增长直接导致运营和管理的成本上升,因此降低数据中心的能耗,特别是降低服务器集群的能耗,就成了学术界和工业界共同关心的重大问题。本文以数据量日益增长的新闻类网站为对象,深入分析和研究了新闻网站的访问日志数据,初步探寻出新闻类数据的访问规律。本文将这些访问规律引入到目前广泛使用的Hadoop分布式文件系统(HDFS)中,对其进行有针对性的改进和优化,使HDFS最终具备节能和数据分布自均衡的特点。具体来说,本文提出了数据节点分区、最大剩余空间节点匹配、文件迁移和节点待机四条节能策略。数据节点分区策略将整个集群逻辑上分为“冷”、“热”两个区域,以便实施不同的管理方法,达到节能的目的;最大剩余空间节点匹配策略专门针对数据分布均衡的问题,又分为活动状态节点优先(Active State Node Priority,简记为ASNP)匹配和低于平均使用率节点优先(Lower than Average utilization rate Node Priority,简记为LANP)匹配两种方案,其中前者方案能达到更好的节能效果,后者方案能实现数据分布自均衡,从而在一定程度上平衡集群的负载;文件迁移策略则保证了新闻数据在其热门期的高效访问,同时又能为热区的节点减轻负载,降低冷区节点的能耗;节点待机策略将冷区中没有任务的节点置为待机省电状态,避免了“空转”现象的发生,减少了集群的整体能耗。为了研究和验证节能存储策略在HDFS中应用的效果,本文还开发了面向节能存储策略研究的HDFS仿真实验平台,平台通过模拟新闻文件被创建和访问的调度过程,加入了可拔插的节能策略模块,最终输出仿真结果。本文以维基英文新闻网站一个月的访问日志作为实验数据集,经过预处理后,在本文节能策略的作用下,实验结果表明:使用本文节能策略的HDFS比传统HDFS节能20%-34%,如果同时采用低于平均使用率优先的最大剩余空间节点匹配策略,则可现实集群数据分布的自均衡,另外,99.8%以上的读文件操作响应时间都不受本文节能策略的影响,证明了策略的可行性。
【关键词】：文件存储 节能策略 数据分布均衡 仿真平台
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333;TP311.13
【目录】：

• 中文摘要3-4
• 英文摘要4-8
• 1 绪论8-14
• 1.1 研究背景和意义8-9
• 1.2 国内外研究现状9-11
• 1.3 本文主要研究内容11
• 1.4 本文组织结构11-12
• 1.5 本章小结12-14
• 2 Hadoop分布式文件系统14-22
• 2.1 Hadoop生态系统14-15
• 2.2 HDFS基础概念15-16
• 2.3 HDFS架构16-17
• 2.4 HDFS读写机制17-20
• 2.5 HDFS副本机制20-21
• 2.6 本章小结21-22
• 3 基于访问规律的节能存储策略22-50
• 3.1 新闻数据访问规律分析22-27
• 3.2 数据节点分区策略27-30
• 3.3 最大剩余空间节点匹配策略30-42
• 3.3.1 HDFS默认目标节点选择策略30-34
• 3.3.2 活动状态节点优先匹配34-37
• 3.3.3 低于平均使用率节点优先匹配37-40
• 3.3.4 对ASNP和LANP两种方案的讨论40-42
• 3.4 文件迁移策略42-45
• 3.5 节点待机策略45-48
• 3.6 本章小结48-50
• 4 仿真平台开发及实验结果分析50-72
• 4.1 仿真平台简介50-60
• 4.1.1 仿真平台功能50-51
• 4.1.2 仿真平台开发环境51-52
• 4.1.3 仿真平台主要模块52-58
• 4.1.4 仿真平台操作使用58-60
• 4.2 仿真实验与结果分析60-70
• 4.2.1 测试数据集60-61
• 4.2.2 实验参数设置61-63
• 4.2.3 集群耗电量分析63-65
• 4.2.4 存储空间使用率分析65-67
• 4.2.5 文件迁移情况分析67-68
• 4.2.6 节点唤醒情况分析68-70
• 4.3 本章小结70-72
• 5 总结与展望72-74
• 5.1 本文工作总结72
• 5.2 未来工作展望72-74
• 致谢74-76
• 参考文献76-80
• 附录80
• A. 作者在攻读硕士学位期间发表的论文目录80

【相似文献】

中国期刊全文数据库 前10条

1 张倩雯;李大力;;应用于无线传感器网络的节能策略[J];现代电信科技;2010年10期

2 卢先领;彭能明;陆胜男;徐保国;;无线体域网节能策略综述[J];计算机应用研究;2013年02期

3 骆崇;;移动Ad Hoc网络的节能策略研究[J];科技创新导报;2008年08期

4 孙霞;卢彬;;无线Ad hoc网络节能策略分析[J];电信快报;2008年03期

5 黄松;白海涛;;移动Ad Hoc网络的节能问题研究和发展[J];现代电子技术;2007年01期

6 苏玉良;;论企业级IDC节能策略[J];资源节约与环保;2013年02期

7 杨翰超;;无线传感器网络关键节能技术及节能策略研究[J];中国新通信;2010年05期

8 吴凯;沈建华;;一种基于数据分组缓存的ONU节能策略[J];光通信技术;2014年06期

9 姚兰;曾锋;;基于最大覆盖集的无线传感器网络节能策略研究[J];计算机工程与科学;2013年04期

10 王雪飞;;自组织传感器网的节点节能与网络节能策略[J];传感器世界;2006年10期

中国重要会议论文全文数据库 前3条

1 魏庆們;张晓亮;王远;王鑫;江亿;;北京市大型商场用能现状与主要节能策略[A];全国暖通空调制冷2006年学术年会文集[C];2006年

2 朱陈平;T.Gross;;破碎相变与移动ad hoc通讯网络的节能策略[A];第五届全国复杂网络学术会议论文（摘要）汇集[C];2009年

3 陈川;杨祖贵;;低技术节能策略在教育建筑设计中的运用——四川音乐学院美术系教学楼方案设计[A];建筑环境与建筑节能研究进展——2007全国建筑环境与建筑节能学术会议论文集[C];2007年

中国重要报纸全文数据库 前1条

1 艾默生网络能源;“能效逻辑”与电信行业节能[N];通信产业报;2009年

中国博士学位论文全文数据库 前2条

1 薛建彬;基于802.16e的无线网络节能策略研究[D];兰州理工大学;2009年

2 文凯;无线Ad Hoc网络中的节能策略研究[D];电子科技大学;2008年

中国硕士学位论文全文数据库 前10条

1 王政英;云环境下基于存储的副本存放节能策略[D];新疆大学;2015年

2 杨雷;面向新闻大数据的节能存储策略研究[D];重庆大学;2015年

3 丁方伟;基于计算迁移的智能手机节能策略[D];大连理工大学;2013年

4 只升阳;基于周期性休眠的以太网节能策略及性能研究[D];燕山大学;2014年

5 李丹;无线Mesh网络节能策略研究[D];广西大学;2013年

6 康利富;上海地区商业综合体设计节能策略初探[D];同济大学;2007年

7 高玲;水下无线传感器网络节能策略研究[D];集美大学;2014年

8 张伟;定位辅助搜寻Wi-Fi的移动设备节能策略[D];大连理工大学;2011年

9 刘伟;城轨列车无线传感器监测网络节能策略研究[D];大连交通大学;2013年

10 汪博文;规划设计中的节能策略[D];南京工业大学;2012年

  本文关键词：面向新闻大数据的节能存储策略研究，由笔耕文化传播整理发布。

，

本文编号：319138