基于OpenStack的云存储系统的大文件存储方案
本文关键词: OpenStack Swift 云存储 大文件 存储方案 出处:《计算机工程与设计》2015年02期 论文类型:期刊论文
【摘要】:为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略,设计关键数据结构和上传下载的核心流程,使用Java多线程实现该方案。部署云存储实验环境,通过实验验证了该方案的可行性,该方案突破了Swift对文件大小的限制,提高了文件的上传和下载速度。
[Abstract]:In order to solve the problem of object storage service (Swift) in open source cloud platform (OpenStack) in storing large files of GB level, file segmentation and fragment merging are proposed. The storage scheme of large files of GB level in parallel processing. The Swift architecture and its characteristics are analyzed, and then the hierarchical architecture of cloud storage system is constructed. The key data structure and the core process of uploading and downloading are designed. The scheme is implemented by Java multithreading. The cloud storage experimental environment is deployed. The feasibility of the scheme is verified by experiments. The scheme breaks through the limitation of Swift on file size and improves the speed of uploading and downloading files.
【作者单位】: 北京工业大学计算机学院;
【分类号】:TP333
【正文快照】: 0引言目前面对海量数据的存储需求,传统的数据存储方案在存储容量、数据的可靠性、存储成本等方向存在很大的不足。云存储[1,2]具有自身独特的优势,可以动态、灵活地进行扩展和配置,使用户可以通过网络按需获得云存储的软硬件资源。OpenStack[3,4]是一个开源的云计算平台,它的
【参考文献】
相关期刊论文 前2条
1 曾文英;赵跃龙;尚敏;;云计算及云存储生态系统研究[J];计算机研究与发展;2011年S1期
2 蒋溢;孙雪涛;杨川;;Swift云存储环境下基于I/O负载均衡的读取策略[J];计算机工程与设计;2013年09期
【共引文献】
相关期刊论文 前10条
1 从立钢;郭利菊;;云存储系统安全技术研究[J];长春理工大学学报(自然科学版);2014年03期
2 费贤举;王树锋;王文;;一种海量大数据云存储系统框架设计[J];常州工学院学报;2014年03期
3 赵颖;;云计算及云储存生态系统研究[J];太原城市职业技术学院学报;2014年08期
4 王治中;张庆君;吕科;;大数据时代航天遥感系统的挑战和机遇[J];工程研究-跨学科视野中的工程;2014年03期
5 琚忠云;周涛;李精精;肖泽军;;云计算在核安全分析中的应用研究[J];工业安全与环保;2014年10期
6 郝亮;崔刚;曲明成;柯文德;;云计算能耗资源调度优化关键技术研究[J];智能计算机与应用;2014年05期
7 吴秋萍;;推动云计算生态系统发展研究——以广佛肇一体化为例[J];电脑知识与技术;2014年31期
8 杨金凤;;云时代背景下IT企业的战略选择研究[J];中国管理信息化;2015年04期
9 赵伟;卓伟;李占波;王志华;;基于云计算的一种新的数据交换架构[J];计算机工程与科学;2013年08期
10 陈联诚;胡月明;张飞扬;段文杰;余平祥;;农产品安全追溯系统的云计算技术性能提升设计[J];农业工程学报;2013年24期
相关会议论文 前2条
1 Gang Zhao;Chen LiJuan;Ye QiuXu;;Applied Research of Cloud Computing on the Sharing of Educational Information Resource[A];2013年教育技术与管理科学国际会议论文集[C];2013年
2 张峰;李基亮;;校园私有云存储方案与探索[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
相关博士学位论文 前2条
1 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年
2 夏纯中;云存储多数据中心QoS保障机制研究[D];江苏大学;2014年
相关硕士学位论文 前10条
1 叶娇;云计算技术在农业信息共享服务中的研究与应用[D];吉林农业大学;2013年
2 熊智;基于XCP云平台的I/O监控的研究与实现[D];华南理工大学;2013年
3 李宁宁;云计算环境中虚拟机增量迁移技术的研究[D];电子科技大学;2013年
4 冯黎明;云环境下无线传感器网络服务研究[D];南京师范大学;2013年
5 贾玉辉;面向语音交互的云计算系统的研究[D];中国海洋大学;2013年
6 韩博闻;云计算运维平台服务控制子系统的设计与实现[D];哈尔滨工业大学;2013年
7 陈欣;云计算环境中虚拟化技术的研究与实践[D];北京工业大学;2013年
8 黄彩锋;基于HDFS分布式并行文件系统副本策略研究[D];浙江师范大学;2013年
9 雷棠棣;企业级MapReduce系统失效恢复机制的设计与实现[D];哈尔滨工业大学;2012年
10 肖磊;基于云计算的移动商务研究与实现[D];南昌航空大学;2013年
【二级参考文献】
相关期刊论文 前1条
1 田冠华;孟丹;詹剑锋;;云计算环境下基于失效规则的资源动态提供策略[J];计算机学报;2010年10期
【相似文献】
相关期刊论文 前10条
1 ;上海信天喜获华东首份SWIFT客户合同[J];通信世界;2004年04期
2 刘春燕;;SWIFT促进业务标准化和自动化[J];金融电子化;2006年02期
3 沈国华;;SWIFT在我国商业银行的应用及其前景[J];电脑与电信;2007年02期
4 袁俊德;高国奇;李跃华;;SWIFT的基本架构与技术发展[J];中国金融电脑;2007年05期
5 杨士华;;SWIFT在中国的发展和应用[J];金融电子化;2008年10期
6 李赫;;SWIFT与东亚的合作及启示[J];华南金融电脑;2008年05期
7 毛翔昊;;中国农业发展银行SWIFT系统升级实录[J];中国金融电脑;2012年08期
8 ;SHENZHEN POST IN SWIFT DEVELOPMENT[J];中国邮政;1988年01期
9 杨英;Swift系统[J];管理科学文摘;1995年06期
10 张卓其;国际环球同业财务电信系统SWIFT[J];信息系统工程;1997年09期
相关会议论文 前4条
1 林一清;;Swift/BAT observations for X-ray flashes[A];中国天文学会2007年学术年会论文集[C];2007年
2 孙峻峭;;青海中行SWIFT应用及安全[A];第十一届全国计算机安全技术交流会论文集[C];1996年
3 张峰;李基亮;;校园私有云存储方案与探索[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
4 何友文;;强流星雨及其电离效应观测与研究[A];1998年中国地球物理学会第十四届学术年会论文集[C];1998年
相关重要报纸文章 前10条
1 河南 韩欲青;Swift 3D让平面动起来[N];中国电脑教育报;2001年
2 记者 潘晓娟;SWIFT合作伙伴计划助推中国金融设施建设[N];中国经济导报;2007年
3 张泰欣;SWIFT助力金融交易处理平台[N];中国证券报;2007年
4 袁媛邋谢晓冬;中行成为内地首家SWIFT组织成员[N];上海证券报;2007年
5 隽文;SWIFT将促进中国金融市场协调发展[N];中国经济导报;2008年
6 维德;上海信天获华东首份SWIFT客户合同[N];中国电子报;2004年
7 魏建玲邋张娜;SWIFT促进中国金融市场协调发展[N];国际商报;2008年
8 曾娅;上海信天喜获华东首份SWIFT客户合同[N];人民邮电;2004年
9 记者 潘晓娟;向中国银行提供标准化的服务[N];中国经济导报;2006年
10 记者 潘晓娟;借助SWIFT:中国银行力促中国贸易发展[N];中国经济导报;2007年
相关博士学位论文 前1条
1 俞云伟;Swift时代伽玛射线暴及其余辉的多波段研究[D];华中师范大学;2009年
相关硕士学位论文 前2条
1 毕晓宇;商业银行SWIFT系统接入及实现[D];电子科技大学;2005年
2 付世平;基于Swift的教育资源共享平台的设计与实现[D];西安电子科技大学;2014年
,本文编号:1473255
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/1473255.html