当前位置:主页 > 科技论文 > 计算机论文 >

云计算环境下基于用户体验的成本最优存储策略研究

发布时间:2020-03-03 14:14
【摘要】:为了提高大数据文件的存取效率,满足各类用户的需求,通常采用对该文件进行分块、冗余副本等机制进行存储,关于设置块大小、副本个数和块部署等存储机制的研究一直是该领域研究重点.根据用户对内容块兴趣需求,我们定义了数据块的热度并提出了一种满足用户需求的存储数据块的最小服务成本策略(MCSB).在成本矩阵的基础上,通过引入与数据块热度相关的成本矩阵调整因子,使得热度较低的数据块被优先部署,实现了在不改变存储数据块的最小服务总成本的情况下,内容存取服务性能的提高.基于该策略,以Hadoop中的缺省数据块存储策略为控制组,通过在HDFS系统中实现MCSB,并对MCSB进行了较为详细的分析.实验结果显示MCSB策略能够在满足最小服务成本的情况下,具有更短的系统平均响应时间.进一步考虑到数据存储节点由服务器集群承担的事实,对基于不同负载下的数据存储策略进行了深入探讨,在分析现有机制对性能影响的基础上,给出了一种自适应的数据节点内的存储数据块的最小服务成本策略AMCSB,实验表明,本文所提出的AMCSB策略能够在降低服务成本的同时,有利于系统的负载均衡,并提高该系统的服务性能.

【参考文献】

相关期刊论文 前4条

1 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

2 孙大为;常桂然;李凤云;王川;王兴伟;;一种基于免疫克隆的偏好多维QoS云资源调度优化算法[J];电子学报;2011年08期

3 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

4 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

【共引文献】

相关期刊论文 前10条

1 范玉妹,李红军;多目标局部残差平方和的定阶方法[J];北京科技大学学报;2003年01期

2 徐君开;产品最低成本的计算机辅助设计[J];玻璃与搪瓷;1997年06期

3 徐君开;搪瓷产品耐酸性能最佳的计算机辅助设计[J];福州大学学报(自然科学版);1997年04期

4 梅传书,钟登华,徐海燕;输水隧洞建设方案优选方法的研究[J];工程建设与设计;2001年03期

5 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

6 俞能海;郝卓;徐甲甲;张卫明;张驰;;云安全研究进展综述[J];电子学报;2013年02期

7 胡毅庆;;在数学专业运筹学教学中引入计算机实践环节的探索[J];大学数学;2013年01期

8 吴建军;;网络舆情的云计算监测模式分析与实现[J];电讯技术;2013年04期

9 孙勇;林菲;王宝军;;面向云计算的键值型分布式存储系统研究[J];电子学报;2013年07期

10 王晓华;;一种新型的Hadoop本地化测试模型[J];赤峰学院学报(自然科学版);2013年19期

相关会议论文 前1条

1 陈德华;解维;李悦;;面向大规模图数据的分布式并行聚类算法研究[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年

相关博士学位论文 前9条

1 刘志明;对等存储系统数据管理研究[D];国防科学技术大学;2011年

2 杨明;可持续发展的矿业开发模式研究[D];中南大学;2001年

3 徐俊刚;流程企业生产调度方法与应用研究[D];中国科学院研究生院(软件研究所);2003年

4 魏鹏飞;可重复使用液体火箭发动机智能减损控制方法研究[D];国防科学技术大学;2005年

5 陈晓飞;基于骨架的目标表示和识别技术研究[D];国防科学技术大学;2004年

6 吴杰;OFDM的频率同步与自适应传输[D];西安电子科技大学;2007年

7 许晓栋;基于单件生产模式的模具生产计划管理系统研究[D];上海交通大学;2007年

8 唐云建;无线传感器网络负载均衡数据汇集算法研究[D];重庆大学;2010年

9 高学英;大规模应急救援资源布局与调度优化方法研究[D];吉林大学;2012年

相关硕士学位论文 前10条

1 苑文萍;高铁分流下的京沪既有线旅客列车开行方案研究[D];北京交通大学;2011年

2 陆世辉;基于ADP的通用智能嵌入式控制器设计及实现[D];武汉理工大学;2011年

3 张历;基于云计算平台的配电网多目标重构算法的研究[D];华南理工大学;2011年

4 杨志荣;双目视觉立体匹配方法和遮挡问题研究[D];燕山大学;2010年

5 李洋;陕北地区坡耕地种植结构的可拓决策及优化研究[D];西安建筑科技大学;2011年

6 任维杰;多次预应力钢结构优化设计[D];北京工业大学;2002年

7 张爱国;河北省“九五”科技计划实施效果评价研究[D];河北工业大学;2002年

8 李征光;火电厂水系统计算机在线监测系统的研究开发[D];华北电力大学(北京);2003年

9 谢海英;广义指派和多目标模糊指派的解法研究[D];西南交通大学;2004年

10 金哲;基于运筹学的RMS系统级设计理论与方法[D];浙江大学;2004年

【二级参考文献】

相关期刊论文 前10条

1 吴吉义;平玲娣;潘雪增;李卓;;云计算:从概念到平台[J];电信科学;2009年12期

2 宁焕生;张瑜;刘芳丽;刘文明;渠慎丰;;中国物联网信息服务系统研究[J];电子学报;2006年S1期

3 张薇;马建峰;王良民;郭渊博;;门限Byzantine quorum系统及其在分布式存储中的应用[J];电子学报;2008年02期

4 廖名学;范植华;;MPI程序同步通信基本模型死锁检测[J];电子学报;2008年02期

5 宁焕生;徐群玉;;全球物联网发展及中国物联网建设若干思考[J];电子学报;2010年11期

6 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

7 孙大为;常桂然;李凤云;王川;王兴伟;;一种基于免疫克隆的偏好多维QoS云资源调度优化算法[J];电子学报;2011年08期

8 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

9 李勇军;代亚非;;对等网络信任机制研究[J];计算机学报;2010年03期

10 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

【相似文献】

相关期刊论文 前10条

1 周游;刘鹏;杨盛祥;薛志强;文艾;;基于私有云的数据冗余技术研究[J];电脑知识与技术;2011年01期

2 余林琛;章巍;林强;许杰星;钟贝;;RS纠删码在云存储中的应用[J];微电子学与计算机;2011年08期

3 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期

4 李婷;李晓龙;;云计算的资源管理方法研究[J];电脑与电信;2010年01期

5 于秀芬;张曾昱;;基于云存储架构的随书光盘镜像服务器构建探讨[J];图书馆杂志;2011年02期

6 甘勇;韩姗姗;陈国栋;何振;;基于在线存储的对象放置算法的设计与实现[J];郑州轻工业学院学报(自然科学版);2011年01期

7 谢峰;刘妹娟;;浅析云存储信息服务的发展现状及隐忧[J];科技信息;2011年10期

8 王俊修;;基于云计算架构的视频监控系统应用研究[J];中国安防;2011年08期

9 王平建;荆继武;王琼霄;王展;;云存储中的访问控制技术研究[J];信息网络安全;2011年09期

10 黄燕;;云存储在图书馆数字资源存储中的应用[J];现代情报;2011年04期

相关会议论文 前10条

1 朱旭东;柯剑;那文武;许鲁;;一种数据块关系指导的缓存替换方法[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李明;王林旭;谢剑薇;李东岳;;大规模地理数据的组织存储及快速访问[A];2010年全国通信安全学术会议论文集[C];2010年

3 崔铁军;张利;;多尺度海量栅格数据索引机制的研究[A];中国地理信息系统协会第八届年会论文集[C];2004年

4 张兵;;Oracle Forms表格数据转存为Excel文件的技巧研究[A];全国冶金自动化信息网2009年会论文集[C];2009年

5 杨启军;;邯钢冷轧厂酸轧生产线的S7-COM通信[A];冶金轧制过程自动化技术交流会论文集[C];2005年

6 王国松;周建强;程利平;张跃龙;;基于BLOB存取的大坝监测电子文档管理系统[A];全国大坝安全监测技术信息网2008年度技术信息交流会暨全国大坝安全监测技术应用和发展研讨会论文集[C];2008年

7 郑霄;陈红;杜晓勇;王珊;;基于语义数据块的两层缓存技术在并行数据仓库系统ParaWare中的实现[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年

8 魏春城;;流媒体服务器设计中关键技术分析[A];第六届全国计算机应用联合学术会议论文集[C];2002年

9 白冰;王宝生;陈琳;劳仲安;;一种前向纠错编解码的带宽优化方法[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

10 蔡平;;磁盘阵列的数据安全隐患与数据修复[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

相关重要报纸文章 前10条

1 ;Unihub新开通五大数据中心[N];人民邮电;2002年

2 李玉花 李明耀;拟建五大数据库[N];检察日报;2005年

3 本报记者 迪文;我国三大数据网标准走向国际[N];通信产业报;2003年

4 本报记者 刘书臻 崔刚 通讯员 韩宝宽;统计工作要用 “大数据”说话[N];中国信息报;2005年

5 本报记者 周鹏;三大数据库 支撑八大应用系统[N];中国计算机报;2004年

6 新华社记者;十大数据见证不寻常的一年[N];新华每日电讯;2004年

7 仝;10大数据库撑起中国电子投资信息网[N];中国计算机报;2000年

8 计算机世界实验室 韩勖;中小企业存储之道[N];计算机世界;2007年

9 匡红庆 周朝晖;软件项目管理的质量保证[N];人民政协报;2005年

10 ;“不联网搜索”新概念[N];网络世界;2006年

相关博士学位论文 前10条

1 刘卫平;网络存储中的数据容错与容灾技术研究[D];西北工业大学;2006年

2 黄震;大规模分布式存储系统中数据冗余技术研究[D];国防科学技术大学;2012年

3 赵鑫;P2P流媒体内容分发的关键技术研究[D];北京邮电大学;2010年

4 欧阳一鸣;片上网络测试关键问题研究[D];合肥工业大学;2013年

5 涂旭平;对等流媒体直播系统带宽资源优化研究[D];华中科技大学;2008年

6 马冠骏;基于网络编码的P2P文件分发的研究[D];中国科学技术大学;2009年

7 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年

8 徐奎;无线网络下的网络编码技术研究[D];华中科技大学;2009年

9 王见;异构节点的媒体分发系统研究[D];上海交通大学;2009年

10 董晓明;对象属性控制的存储策略研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 冯本明;云存储中数据块资源分布及服务器效能优化问题研究[D];湖南大学;2011年

2 沈瑞清;云存储中避免重复数据存储机制研究[D];云南大学;2013年

3 张甲燃;重复数据删除技术研究[D];山东大学;2013年

4 王永洲;基于HDFS的存储技术的研究[D];南京邮电大学;2013年

5 王s,

本文编号:2584491


资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2584491.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户7dadc***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com