基于Hadoop的海量图片云存储系统研究与设计

发布时间：2017-10-14 11:15

  本文关键词：基于Hadoop的海量图片云存储系统研究与设计

  更多相关文章： 云计算 Hadoop MapReduce 分布式 图片存储

【摘要】：进入二十一世纪以后，随着互联网的不断发展和互联网技术的深入应用，一些大型的门户网站和电子商务网站迅速发展起来，如淘宝网、京东、亚马逊、新浪等。这些网站图片所占用的资源相当大，且其数量呈爆炸式增长，并且具有高并发访问性。面对海量的图片资源，如何高效的存储以及如何在满足高并发访问的前提下构建高效廉价的存储系统成为软件架构师需要迫切解决的问题。 云计算的出现给我们提供了一条思路，通过分析我们可以采用分布式存储系统来解决上述难题。本文通过分析海量图片的存储需求，以及对现有分布式系统的研究，提出了一种基于云计算的海量图片存储模型。该模型部署在Linux机器集群上，以Hadoop中的HDFS为基础，并且通过优化实现了高容错性，，并且能够提供可靠的高并发访问。采用新型的数据组织结构，把文件名和物理地址相映射，从而提供了良好读写性。同时采用HA架构，保证系统的可用性。 本文的研究内容主要包含以下三个方面： 第一，通过对海量图片存储的需求分析以及对现有分布式系统的研究，提出了基于Hadoop的存储模型。通过采用Master/Slave架构，实现了在廉价的计算机集群上部署系统，并且具有高容错性和扩展性。 第二，通过设计缓存系统保证了存储系统的稳定性。通过设计均衡负载，实现了对各个存储节点的优化。 第三，在对图片元数据的存储中采用的是Hadoop的HBase。通过对图片文件名的重新设计，使得同一类型的图片所存储的物理地址尽可能的靠近，从而提高了查询的效率。 本文研究的存储系统在Linux服务器上进行了系统的搭建，通过一系列的测试所得的数据分析了系统的合理性和可行性，并且验证了文中所提方法的有效性和实用性。
【关键词】：云计算 Hadoop MapReduce 分布式 图片存储
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-10
• 1 绪论10-14
• 1.1 课题研究的背景10-12
• 1.1.1 项目背景10-11
• 1.1.2 技术背景11-12
• 1.2 国内外研究现状12-13
• 1.3 论文结构13-14
• 2 云计算和分布式系统介绍14-28
• 2.1 云计算14-18
• 2.1.1 云计算的概念和特点14-16
• 2.1.2 云计算的分类16
• 2.1.3 云计算体系结构介绍16-18
• 2.1.4 云计算发展现状18
• 2.2 分布式系统介绍18-26
• 2.2.1 三种分布式系统模型简介18-23
• 2.2.2 分布式系统算法介绍23-26
• 2.3 本章小结26-28
• 3 Hadoop 云计算系统深入分析28-40
• 3.1 Hadoop 简介28-30
• 3.1.1 Hadoop 相关背景28-29
• 3.1.2 Hadoop 整体架构模型29-30
• 3.1.3 Hadoop 应用案例30
• 3.2 Hadoop 关键技术30-38
• 3.2.1 HDFS30-32
• 3.2.2 MapReduce32-36
• 3.2.3 HBase36-38
• 3.3 本章小结38-40
• 4 图片存储模型设计40-56
• 4.1 需求分析40-41
• 4.2 系统整体架构41-42
• 4.3 读写流程42-43
• 4.4 存储模型各个模块设计43-54
• 4.4.1 业务处理模块设计44-45
• 4.4.2 图片索引模块设计45-47
• 4.4.3 存储控制模块设计47-48
• 4.4.4 缓存服务模块设计48-49
• 4.4.5 负载均衡模块设计49-50
• 4.4.6 存储模块设计50-54
• 4.5 本章小结54-56
• 5 整体实验设计和结果分析56-66
• 5.1 实验设计56-60
• 5.1.1 实验目的56
• 5.1.2 实验准备56-57
• 5.1.3 实验设计57-60
• 5.2 试验流程和结果分析60-64
• 5.2.1 实验流程60
• 5.2.2 实验结果分析60-64
• 5.3 本章小结64-66
• 6 总结和展望66-68
• 6.1 工作总结66
• 6.2 下一步工作66-68
• 参考文献68-72
• 致谢72-74
• 附录 A74-75
• 附录 B75-76
• 附录 C76-77
• 附录 D77-79
• 个人简历79
• 发表的学术论文79-80

【参考文献】

中国期刊全文数据库 前6条

1 李臣波;刘润涛;;一种基于Dijkstra的最短路径算法[J];哈尔滨理工大学学报;2008年03期

2 孙牧;;云端的小飞象—Hadoop[J];程序员;2008年10期

3 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期

4 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期

5 辛军;陈康;郑纬民;;虚拟化的集群资源管理技术研究[J];计算机科学与探索;2010年04期

6 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期

本文编号：1030738