基于Hopfield神经网络的云存储负载均衡策略

发布时间：2018-01-02 13:35

  本文关键词：基于Hopfield神经网络的云存储负载均衡策略　出处：《计算机应用》2017年08期 　论文类型：期刊论文

  更多相关文章： 云存储 Hadoop Hadoop分布式文件系统 副本策略 负载均衡

【摘要】：针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络(HNN)的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。
[Abstract]:In order to improve the overall performance of the system , the resource characteristics affecting the storage efficiency are analyzed firstly . In order to improve the overall performance of the system , the resource characteristics affecting the storage efficiency are analyzed first . Finally , compared with the comparison algorithm , the average utilization rate of 8 nodes is analyzed and compared with that of the Hadoop default storage strategy . Therefore , the method can better realize resource load balancing in the application , which will help improve the storage capacity of Hadoop and accelerate the retrieval .

【作者单位】： 太原理工大学财经学院;山西省财政税务专科学校信息学院;太原理工大学大数据学院;
【基金】：国家自然科学基金资助项目(61502330) 山西省高等学校科技创新项目(20161131) 山西省软科学计划研究项目(2016041008-5)~~
【分类号】：TP183;TP333
【正文快照】： 0引言云存储作为云计算的一种重要应用,通过对数据资源的统一化管理,能为用户提供高可靠性和可用性的大数据存储方式,受到到商界和学术界的特别重视[1-2]。基于Google云的云存储服务案例告诉我们,云并不一定建立在大规模和高可靠性的专用机器上,如果通过采用策略算法实施于一

【参考文献】

相关期刊论文 前6条

1 李强;刘晓峰;贺静;;基于语音特征的情感分类[J];小型微型计算机系统;2016年02期

2 付雄;贡晓杰;王汝传;;云存储系统中基于分簇的数据复制策略[J];计算机工程与科学;2014年12期

3 周敬利;周正达;;改进的云存储系统数据分布策略[J];计算机应用;2012年02期

4 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

5 王万良,吴启迪,徐新黎;基于Hopfield神经网络的作业车间生产调度方法[J];自动化学报;2002年05期

6 王秀利,吴惕华;一种求解多处理器作业调度的Hopfield神经网络方法[J];系统工程与电子技术;2002年08期

相关硕士学位论文 前1条

1 张兴;基于Hadoop的云存储平台的研究与实现[D];电子科技大学;2013年

【共引文献】

相关期刊论文 前10条

1 李强;刘晓峰;;基于Hopfield神经网络的云存储负载均衡策略[J];计算机应用;2017年08期

2 孙卓;王尉宇;;云存储环境下的容灾关键技术[J];科技创新与应用;2017年02期

3 郭松;张岩;;基于Hadoop的海量学习资源云存储模型设计研究[J];计算机应用与软件;2016年12期

4 王霓虹;张露露;;分布式爬虫任务调度策略的优化[J];黑龙江大学自然科学学报;2016年05期

5 代红;;基于Hadoop的金融智能云平台分布式架构[J];辽宁科技大学学报;2016年03期

6 宋人杰;曲振娜;;基于兴趣分簇的MP2P环境下的缓存放置策略[J];鄂州大学学报;2016年04期

7 张金良;;优化RFID数据压缩与存储算法的实现[J];电脑编程技巧与维护;2016年11期

8 张少辉;张中军;于来行;;异构Hadoop集群下自适应平衡数据存储的大数据放置策略[J];现代电子技术;2016年10期

9 张晋芳;王清心;丁家满;刘彦君;黄心;;一种云计算环境下大数据动态迁移策略[J];计算机工程;2016年05期

10 李帅;武继刚;王旭;;树形网络中面向服务质量的副本放置算法[J];小型微型计算机系统;2016年04期

相关硕士学位论文 前10条

1 秦亚辉;大数据环境下企业销售数据处理方法与市场感知研究[D];浙江理工大学;2017年

2 尚勃;Spark平台下基于深度学习的网络短文本情感分类研究[D];西安建筑科技大学;2016年

3 赵菲;Hadoop小文件处理技术的研究与优化[D];广东工业大学;2016年

4 郑琪;基于Hadoop云平台的煤矿动力灾害监测系统的研究与实现[D];中国矿业大学;2016年

5 张翠苹;云存储环境下副本管理策略研究[D];沈阳航空航天大学;2016年

6 崔园;基于HDFS的分布式存储系统的研究与实现[D];电子科技大学;2016年

7 徐珏;基于Hadoop的企业营销系统销售预测的研究与实现[D];浙江理工大学;2016年

8 黄光辉;大数据云存储及综合应用系统的设计与实现[D];北京化工大学;2015年

9 陈阁;基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究[D];华东交通大学;2015年

10 牛茜;基于HDFS的云存储平台在企业信息管理系统中的应用研究[D];西安科技大学;2015年

【二级参考文献】

相关期刊论文 前10条

1 韩文静;李海峰;阮华斌;马琳;;语音情感识别研究进展综述[J];软件学报;2014年01期

2 孙大为;常桂然;高尚;靳立忠;王兴伟;;Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J];Journal of Computer Science & Technology;2012年02期

3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

4 栾亚建;黄烂，

本文编号：1369454