基于分布式的电力云存储系统的研究与应用

发布时间：2017-11-22 03:27

  本文关键词：基于分布式的电力云存储系统的研究与应用

  更多相关文章： 电力系统 云存储 分布式文件系统 负载均衡

【摘要】：随着国家电网公司业务的拓展，办公文件的数量也就随之剧增，从而导致存储效率低等问题的出现，使得文件管理变得异常繁琐，因此对电力云存储系统的研究具有很高的应用价值，云存储系统是在当前广泛讨论的云计算概念上延伸和发展出来的，具有高可用性、高扩展性、高可靠性等特点，可以将各种类型的存储介质整合在一起来提供数据存储和业务访问的功能。HDFS是开源云框架Hadoop的底层文件系统的实现，具有高容错性和高传输率等特点，可以以流的形式写入或者读取文件系统中的数据，从而解决了文件存储和访问速度的问题，并且实现海量数据的存储和管理。在云存储理论的研究和分析的基础上，将实现一个基于分布式的电力云存储系统，并使得该系统逐步成为国网公司重要的数据存储平台。 首先，分析和研究了当前广泛讨论的云存储模型以及其关键技术。详细描述了开源云计算框架Hadoop的底层文件系统HDFS。 其次，在研究现有HDFS的基础上，针对其在负载均衡机制和小文件处理上的弊端进行了深入的探讨和研究，，从而提出了新的负载均衡优化策略和小文件存储优化策略，设计的加权负载均衡算法在系统资源分配过程中，综合考虑各节点的性能指标因素，从而让集群中各个节点充分的发挥作用，实现负载均衡。在传统小文件处理方案的基础上，从小文件的存储结构和索引结构上进行优化设计，大大提高了小文件在HDFS上的存储和检索效率。 最后，本课题在原有HDFS架构的基础上，并融合了第三章和第四章的优化策略，实现了基于分布式的电力云存储系统，该系统主要实现的功能有文件上传、文件下载、文件共享、文件浏览等，本系统的实现对Hadoop分布式文件系统在电力企业中的深化应用具有探索和指导意义。
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【相似文献】

中国期刊全文数据库 前10条

1 于翔;日立数据推出Lightning 9900 V系列存储系统[J];微电脑世界;2002年11期

2 周可,张江陵,冯丹;基于数据块的对等存储系统的设计与实现[J];计算机工程与科学;2003年03期

3 毛宇星;存储系统未来发展的新趋势[J];中国金融电脑;2004年03期

4 王洛;制造业存储系统应用选型[J];电子商务世界;2004年04期

5 李玮;日立力推新存储系统[J];微电脑世界;2004年11期

6 ;存储系统 电信行业服务满意奖[J];每周电脑报;2004年20期

7 ;存储系统 金融行业服务满意奖 电信行业应用卓越奖[J];每周电脑报;2004年20期

8 ;存储系统 制造行业产品创新奖[J];每周电脑报;2004年20期

9 ;存储系统 电信行业技术领先奖[J];每周电脑报;2004年20期

10 ;快速恢复免重安装——山东师范大学完成图书馆存储系统建设[J];每周电脑报;2004年28期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 记者　 孙永杰;存储：中低端应用渐成热点[N];中国电子报;2005年

2 ;HP再度出击 EMC腹背受敌[N];计算机世界;2000年

3 ;湖北移动建设智能存储系统[N];人民邮电;2002年

4 本报记者 郭平;同有飞骥自主研发统一存储系统[N];计算机世界;2010年

5 ;浪潮存储为北航网络中心升级[N];人民邮电;2007年

6 ;解决方案面向谁？[N];中国高新技术产业导报;2001年

7 张峰 刘平;决战存储之巅[N];网络世界;2003年

8 ;赛 迪 观 市[N];中国计算机报;2003年

9 雪梅;统一存储发展新趋势[N];人民邮电;2012年

10 宋家雨;山东建筑大学图书馆存储系统建设[N];网络世界;2007年

中国博士学位论文全文数据库 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 许伟民;非编网存储系统规划与分析[D];厦门大学;2008年

2 王宇德;进化存储系统的研究及其关键技术分析[D];华中科技大学;2004年

3 雷小强;基于闪存的混合式存储系统研究[D];华中科技大学;2011年

4 吴永发;面向终端应用的云存储系统研究与设计[D];广东工业大学;2013年

5 胡伟明;云存储系统的设计与实现[D];中国地质大学（北京）;2013年

6 吉永光;树型结构存储系统设计与层间缓存技术[D];华中科技大学;2007年

7 戴泽福;高性能层次并行流存储系统研究与实现[D];国防科学技术大学;2007年

8 王强;社交网站的群集存储系统的研究与设计[D];上海交通大学;2009年

9 马墨峰;基于存储局域网的存储系统的实现[D];西北工业大学;2001年

10 伍开文;低能耗存储系统的设计与实现[D];华中科技大学;2012年

本文编号：1213341