基于hadoop的海量图片存储模型的分析和设计
发布时间：2021-01-28 19:12
随着互联网技术的发展与深入应用,出现了越来越多像“新浪”“腾讯”“淘宝”等大型门户网站或电子商务网站。这些网站都存储有大量图片资源,且图片数量呈爆炸式的增长。鉴于商业存储扩容成本太高,如何在满足高并发访问的前提下构建廉价高效的图片存储管理系统已经成为软件架构师在工作中遇到的最令人头疼的问题。云存储概念的提出给我们指出了一种解决思路,通过研究分析,我们可以采用分布式存储解决上述问题。本文在分析国内外现有的分布式存储系统实现的基础上,通过对Hadoop的HDFS、MapReduce技术的研究以及自身图片存储的业务需求分析和实际软硬件实力评估,提出了一种基于Hadoop的海量图片存储模型。该模型的实现以Hadoop的HDFS分布式文件系统为基础,硬件构筑在普通的Linux机器集群上,通过内部监控实现高容错、高响应、负载均衡,对外提供服务满足高并发高可靠的应用。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。它同时采用扁平化的数据组织结构,抛弃了传统文件系统的目录结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,提供了良好的读写性能。本文主要研究内容和创新点如下：首先...
【文章来源】：杭州电子科技大学浙江省
【文章页数】：85 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 课题研究背景
1.1.1 项目背景
1.1.2 技术背景
1.2 国内外研究概况
1.3 研究意义与研究内容
1.4 论文的组织结构
第2章 分布式系统关键技术
2.1 分布式系统模型简介
2.1.1 Google的GFS
2.1.2 Apache的Hadoop
2.1.3 淘宝的TFS
2.2 分布式系统基本算法
2.2.1 分布式存储算法
2.2.2 分布式处理算法
2.4 本章小结
第3章 Hadoop开源云计算系统
3.1 Hadoop介绍
3.2 Hadoop关键技术
3.2.1 HDFS
3.2.2 MapReduce
3.2.3 HBase
3.5 本章小结
第4章 图片存储模型架构设计
4.1 图片存储需求分析
4.2 存储系统整体架构和读写流程
4.2.1 存储系统架构
4.2.2 存储系统写流程
4.2.3 存储系统读流程
4.3 图片存储模型设计
4.3.1 存储模块
4.3.2 图片索引模块
4.3.3 存储控制模块
4.3.4 缓存服务模块
4.3.5 业务处理模块
4.3.6 负载均衡模块
4.4 本章小结
第5章 实验设计和结果分析
5.1 实验目的
5.2 实验准备
5.2.1 硬件准备
5.2.2 软件准备
5.3 实验设计
5.3.1 部署Hadoop集群
5.3.2 安装配置Redis
5.3.3 安装配置HAProxy
5.4 实验流程
5.5 实验结果分析
5.5.1 集群安全性测试
5.5.2 图片存取接口测试
5.6 本章小结
第6章 总结与展望
6.1 主要研究成果
6.2 下一步工作
致谢
参考文献
附录
详细摘要
【参考文献】：
期刊论文
[1]浅析“云计算”概念[J]. 朱杰. 信息系统工程. 2011(08)
[2]云存储技术在安防领域的应用[J]. 汪玉学. 中国安防. 2011(07)
[3]基于云计算的存储技术研究[J]. 王胜川. 石油工业计算机应用. 2011(02)
[4]浅谈NDC技术[J]. 邵俊. 科技信息. 2011(12)
[5]云存储在企业容灾备份中全新模式探析[J]. 祝建武. 现代商贸工业. 2011(03)
[6]云计算与云数据存储技术研究[J]. 拓守恒. 电脑开发与应用. 2010(09)
[7]浅谈云存储技术与应用[J]. 张明. 甘肃科技纵横. 2010(03)
[8]云存储技术[J]. 宋凯,耿义良. 才智. 2010(04)
[9]云存储系统的分析与应用研究[J]. 唐箭. 电脑知识与技术. 2009(20)
[10]云存储的应用[J]. 王鹤群. 记录媒体技术. 2008(05)
博士论文
[1]分布式文件系统性能建模及应用研究[D]. 赵铁柱.华南理工大学 2011
硕士论文
[1]小学校园Web网络硬盘应用系统的研究及实现[D]. 王承才.华南理工大学 2011
[2]基于Hadoop的海量图象数据管理[D]. 李波.华东师范大学 2011
[3]基于Hadoop平台的数据分析和应用[D]. 姜文.北京邮电大学 2011
[4]基于HADOOP的数据挖掘研究[D]. 杨宸铸.重庆大学 2010
[5]分布式图片搜索引擎设计与实现[D]. 詹恒飞.国防科学技术大学 2010
[6]基于HDFS的多用户并行文件IO的设计与实现[D]. 金松昌.国防科学技术大学 2010
[7]MapReduce集群多用户作业调度方法的研究与实现[D]. 王凯.国防科学技术大学 2010
[8]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
[9]基于HDFS的云存储服务系统研究[D]. 黄晓云.大连海事大学 2010
[10]基于Hadoop的分布式搜索引擎研究与实现[D]. 封俊.太原理工大学 2010
本文编号：3005532
【文章来源】：杭州电子科技大学浙江省
【文章页数】：85 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 课题研究背景
1.1.1 项目背景
1.1.2 技术背景
1.2 国内外研究概况
1.3 研究意义与研究内容
1.4 论文的组织结构
第2章 分布式系统关键技术
2.1 分布式系统模型简介
2.1.1 Google的GFS
2.1.2 Apache的Hadoop
2.1.3 淘宝的TFS
2.2 分布式系统基本算法
2.2.1 分布式存储算法
2.2.2 分布式处理算法
2.4 本章小结
第3章 Hadoop开源云计算系统
3.1 Hadoop介绍
3.2 Hadoop关键技术
3.2.1 HDFS
3.2.2 MapReduce
3.2.3 HBase
3.5 本章小结
第4章 图片存储模型架构设计
4.1 图片存储需求分析
4.2 存储系统整体架构和读写流程
4.2.1 存储系统架构
4.2.2 存储系统写流程
4.2.3 存储系统读流程
4.3 图片存储模型设计
4.3.1 存储模块
4.3.2 图片索引模块
4.3.3 存储控制模块
4.3.4 缓存服务模块
4.3.5 业务处理模块
4.3.6 负载均衡模块
4.4 本章小结
第5章 实验设计和结果分析
5.1 实验目的
5.2 实验准备
5.2.1 硬件准备
5.2.2 软件准备
5.3 实验设计
5.3.1 部署Hadoop集群
5.3.2 安装配置Redis
5.3.3 安装配置HAProxy
5.4 实验流程
5.5 实验结果分析
5.5.1 集群安全性测试
5.5.2 图片存取接口测试
5.6 本章小结
第6章 总结与展望
6.1 主要研究成果
6.2 下一步工作
致谢
参考文献
附录
详细摘要
【参考文献】：
期刊论文
[1]浅析“云计算”概念[J]. 朱杰. 信息系统工程. 2011(08)
[2]云存储技术在安防领域的应用[J]. 汪玉学. 中国安防. 2011(07)
[3]基于云计算的存储技术研究[J]. 王胜川. 石油工业计算机应用. 2011(02)
[4]浅谈NDC技术[J]. 邵俊. 科技信息. 2011(12)
[5]云存储在企业容灾备份中全新模式探析[J]. 祝建武. 现代商贸工业. 2011(03)
[6]云计算与云数据存储技术研究[J]. 拓守恒. 电脑开发与应用. 2010(09)
[7]浅谈云存储技术与应用[J]. 张明. 甘肃科技纵横. 2010(03)
[8]云存储技术[J]. 宋凯,耿义良. 才智. 2010(04)
[9]云存储系统的分析与应用研究[J]. 唐箭. 电脑知识与技术. 2009(20)
[10]云存储的应用[J]. 王鹤群. 记录媒体技术. 2008(05)
博士论文
[1]分布式文件系统性能建模及应用研究[D]. 赵铁柱.华南理工大学 2011
硕士论文
[1]小学校园Web网络硬盘应用系统的研究及实现[D]. 王承才.华南理工大学 2011
[2]基于Hadoop的海量图象数据管理[D]. 李波.华东师范大学 2011
[3]基于Hadoop平台的数据分析和应用[D]. 姜文.北京邮电大学 2011
[4]基于HADOOP的数据挖掘研究[D]. 杨宸铸.重庆大学 2010
[5]分布式图片搜索引擎设计与实现[D]. 詹恒飞.国防科学技术大学 2010
[6]基于HDFS的多用户并行文件IO的设计与实现[D]. 金松昌.国防科学技术大学 2010
[7]MapReduce集群多用户作业调度方法的研究与实现[D]. 王凯.国防科学技术大学 2010
[8]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
[9]基于HDFS的云存储服务系统研究[D]. 黄晓云.大连海事大学 2010
[10]基于Hadoop的分布式搜索引擎研究与实现[D]. 封俊.太原理工大学 2010
本文编号：3005532
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3005532.html
