可伸缩分布式文件系统及其应用

发布时间：2017-12-13 13:29

  本文关键词：可伸缩分布式文件系统及其应用

  更多相关文章： 可伸缩性 分布式系统 文件系统 海量小文件

【摘要】：伴随着移动互联网的迅速发展,互联网数据规模呈现出几何式增长态势,大数据时代随之来临。单独的文件存储服务器已经无法应对日益增长的数据规模,分布式文件存储系统应运而生。分布式文件系统已成为互联网应用的基础组件之一。由于互联网应用业务之间的差异,相同的分布式文件系统在不同的业务应用中的效率各不相同。为了保证文件系统的效率,通常需要针对具体的应用业务设计特定的分布式文件存储系统。本文在对分布式文件系统可靠性、可用性以及可伸缩性进行深入研究后,设计并实现了一套可伸缩的分布式文件系统。并且,针对当前互联网应用中大部分图片资源为大小不超过100KB的小文件这一具体应用场景,进一步对本文设计的文件系统做出改进,确保本文件系统在应对海量小文件存储、频繁读写时具有良好的性能。本文的主要的研究工作主要包括以下内容。1.系统平滑扩容方法。在互联网应用中,业务规模会随着时间的增大而扩大,文件存储系统也会随之需要扩容。良好的可伸缩性是衡量分布式文件系统性能的重要指标。按照本文平滑扩容方法,可以根据业务需要,直接添加硬件即可完成容量扩展,无需其他任何配置。2.海量小尺寸文件的存储和读写方法。在互联网应用中,大部分图片资源为不超过100KB的小文件,在此应用场景中,伴随的是文件数据的频繁读写,为了保证海量小文件的读写效率,本文对读写方法进行了重点优化。
【学位授予单位】：北京理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333

【共引文献】

中国期刊全文数据库 前10条

1 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

2 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

3 马飞;;多云工作流优化传输费用的数据布局策略[J];电脑知识与技术;2014年10期

4 刘鹏曦;许王燕;;一种冗余地理数据存储系统[J];大众科技;2014年01期

5 杨关建;华泽玺;杨彬;;Hadoop平台在智能变电站中的应用研究[J];电源技术应用;2014年03期

6 刘琪;王小正;王磊;;基于本体的教育资源语义检索关键技术研究[J];电脑知识与技术;2014年16期

7 雷德龙;郭殿升;陈崇成;巫建伟;吴小竹;;基于MongoDB的矢量空间数据云存储与处理系统[J];地球信息科学学报;2014年04期

8 费贤举;王树锋;王文;;一种海量大数据云存储系统框架设计[J];常州工学院学报;2014年03期

9 林穗;黄健;姜文超;覃国民;;基于HDFS的安全云存储模型[J];广东工业大学学报;2014年03期

10 辛刚;罗香玉;;支持容错QoS的高效分布式文件存储算法[J];电脑与电信;2014年06期

中国重要会议论文全文数据库 前5条

1 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

2 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

3 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

4 龚琪慧;刘伟;李坤;游攀利;;基于大数据的水利数据中心建设[A];大数据时代的信息化建设——2015（第三届）中国水利信息化与数字水利技术论坛论文集[C];2015年

5 吴昊;余洋;;城市规划信息化的新常态——试谈那些“新”名词[A];新常态：传承与变革——2015中国城市规划年会论文集（04城市规划新技术应用）[C];2015年

中国博士学位论文全文数据库 前10条

1 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

2 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

3 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

4 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

5 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

6 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年

7 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

8 吴和生;云计算环境中多核多进程负载均衡技术的研究与应用[D];南京大学;2013年

9 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

10 徐达宇;云计算环境下资源需求预测与优化配置方法研究[D];合肥工业大学;2014年

中国硕士学位论文全文数据库 前10条

1 李东升;基于Chord环的MongoDB数据均衡系统设计与实现[D];重庆大学;2013年

2 陈席林;分布式持久化缓存系统的研究与实现[D];重庆大学;2013年

3 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

4 郭峰;基于云计算的虚拟化技术在高校教学服务中的应用研究[D];北京工业大学;2013年

5 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

6 杜超利;时空要素驱动的事件网页信息检索方法研究[D];南京师范大学;2013年

7 谢长波;基于Hadoop遥感影像存储与管理系统的设计与实现[D];昆明理工大学;2013年

8 向宇;基于云计算的管理信息系统的访问控制研究[D];重庆大学;2013年

9 贾玉辉;面向语音交互的云计算系统的研究[D];中国海洋大学;2013年

10 范晨熙;基于Hadoop的搜索引擎的研究与应用[D];浙江理工大学;2013年

，

本文编号：1285322