私有云的云存储和云运算实现

发布时间：2017-06-30 09:16

  本文关键词：私有云的云存储和云运算实现，，由笔耕文化传播整理发布。

【摘要】：随着网络的发展,越来越多的数据在互联网上产生。数据规模增加的同时,其增长速度也越来越快,由此产生了大数据问题。为了解决大数据问题,云计算应运而生。云计算相对于传统高性能计算方式,有着高性价比、高可靠性以及高扩展性的优势。私有云是云计算的一种实现方式,相比较公有云安全性更高并且投入成本也较低。 目前云计算研究方向还主要集中在文本处理方面,对于视频、图像等处理还较少。相较于文本,视频的处理更为复杂。但是目前网络视频数据量在整个网络数据中所占比重越来越大,对于海量视频的分析将是云计算研究的热门方向。本文通过对私有云平台的研究,提出并实现了基于Hadoop平台的同源视频检测。本文的具体工作包括： 1、搭建了基于Hadoop的私有云平台； 2、设计和实现了基于HDFS的视频文件存储系统以及基于HBase的视频特征库； 3、设计和实现了基于MapReduce框架的视频特征提取方法以及视频同源性计算方法。实验结果表明,相同的同源检测方法在私有云平台下比单机条件下运行明显更快；当数据量远大于云平台单位时间处理能力的情况下,数据处理的总时间与云计算平台中计算节点的个数呈负指数幂函数关系。
【关键词】：私有云 同源视频检测 Hadoop MapReduce HDFS HBase
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-7
• 目录7-9
• 第一章 绪论9-12
• 1.1 课题研究背景和意义9-11
• 1.1.1 课题研究背景及现状9-10
• 1.1.2 课题研究意义10-11
• 1.2 论文的主要工作和内容结构11-12
• 1.2.1 论文主要工作11
• 1.2.2 论文内容结构11-12
• 第二章 私有云相关技术12-29
• 2.1 私有云平台介绍12
• 2.2 云计算12-16
• 2.2.1 云计算服务12-14
• 2.2.2 云计算中的私有云14-16
• 2.3 Hadoop平台16-25
• 2.3.1 Hadoop简介16-17
• 2.3.2 HDFS(Hadoop分布式文件系统)17-19
• 2.3.3 HBase(非关系型数据库)19-21
• 2.3.4 MapReduce(分布式计算框架)21-25
• 2.4 基于Hadoop的私有云平台25-29
• 2.4.1 基于Hadoop的私有云平台总体架构25-26
• 2.4.2 基于HDFS的视频文件存储26-27
• 2.4.3 基于HBase的视频特征存储27-29
• 第三章 同源视频检测29-40
• 3.1 同源视频检测介绍29
• 3.2 同源视频检测算法29-30
• 3.3 视频特征30-31
• 3.4 视频同源性度量31-35
• 3.5 基于私有云平台的视频同源检测35-40
• 3.5.1 基于MapReduce的视频特征提取方法35-36
• 3.5.2 基于MapReduce的视频同源性计算方法36-40
• 第四章 基于私有云平台的同源视频检测实验40-54
• 4.1 实验环境40
• 4.2 私有云平台配置和搭建40-45
• 4.2.1 运行环境配置40-41
• 4.2.2 基于Hadoop的私有云配置41-43
• 4.2.3 其他相关软件配置43-45
• 4.3 基于私有云的同源视频检测实现45-48
• 4.3.1 基于HDFS和HBase的存储操作45
• 4.3.2 基于MapReduce的视频特征提取实现45-46
• 4.3.3 基于MapReduce的视频同源性计算实现46-48
• 4.4 实验结果与分析48-53
• 4.4.1 视频特征提取实验结果及分析48-50
• 4.4.2 视频同源性检测实验结果50-53
• 4.5 本章小结53-54
• 第五章 结束语54-56
• 5.1 结论54
• 5.2 展望54-56
• 参考文献56-58
• 致谢58-59
• 作者攻读学位期间发表的学术论文目录59

【参考文献】

中国期刊全文数据库 前2条

1 罗军舟;金嘉晖;宋爱波;东方;;云计算:体系架构与关键技术[J];通信学报;2011年07期

2 何艳辉,朱珍民;基于消息传递的并行计算环境[J];湘潭大学社会科学学报(研究生论丛);2003年S1期

  本文关键词：私有云的云存储和云运算实现，由笔耕文化传播整理发布。

本文编号：501382