基于Hadoop的图像场景分类系统的设计与实现
发布时间：2021-07-29 15:21
在计算机视觉、模式识别与机器学习领域中图像场景分类扮演着非常重要的角色。图像场景分类广泛应用于很多个领域,如目标识别和行为检测。但是,对于单个物体实例来说,通常会由于不同的光照条件,拍摄角度和图像采集距离导致图像分类的准确性降低,而且对象本身的非刚性变形和其他对象的部分遮挡也会导致对象实例的表现特征发生大的变化。与此同时,随着多媒体和互联网技术的快速发展,这些技术所产生的数据规模不断的扩大。大多数数据以图像和视频的形式呈现。图像的快速而准确的分类已经成为计算机视觉领域的热点问题之一。Hadoop是主流的分布式计算平台之一,在处理海量数据方面上占有极大的优势。因此,在Hadoop平台上使用其平台上强大的计算和存储功能用来提高图像分类的效率。本文的内容主要包含以下几个部分:（1）简要介绍了Hadoop平台的架构以及图像分类的基本方法,重点介绍了低级特征提取的SIFT算法和中层特征建模的BoW模型的基本理论知识。（2）深入分析了由SIFT算法和BoW模型而引出的问题,本文会从SIFT算法的低级特征提取和BoW中层特征建模这两个方面提出一些优化的算法作为图像场景分类所使用的算法,通过这些优化的...
【文章来源】：武汉邮电科学研究院湖北省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
Hadoop的整体框架
Hadoop实验集群部署结构
武汉邮电科学研究院硕士学位论文9图2-3HDFS框架HDFS是Master/Slave架构。一个HDFS集群中包含了一个NameNode（Master）和多个DataNode（Slave）。实现HDFS时，文件会被分为几个块（块大小：128M），这些块都会被存储在一些DataNodes上。NameNode主要负责的是在实时的响应client的请求的同时，还需要管理元数据信息（文件名，副本系数和存储在块中的DataNode）；DataNode会存储与用户文件相对应的块，然后周期性的对NameNode发送心跳信息，报告自身和所有块信息以及健康状态。典型的部署方法是为Hadoop集群中的一台计算机部署一个NameNode，为其他计算机部署DataNode。HDFS能够用很多个块来描述所有文件。HDFS也能够设置所有文件副本系数以及分成的块大小，同时也能够通过设置文件中的副本个数使得在新建文件时就可以获得副本系数的值。副本系数也能够在后面的操作上进行更改。NameNode通过处理块副本上的复制，按期的让DataNode获得心跳和块的状态。2.1.2MapReduce并行编程框架MapReduce是Hadoop的核心组成[28]，它是一个可以应用在数据处理方面上的编程模型。MapReduce实质上是实现并行运算的，所以在一定程度上能够将海量数据分析的任务分配到所有拥有多个机器的一个数据中心，能够运用在Hadoop平台上MapReduce所实现的并行计算这一优点。MapReduce的核心功能就是将用户的需求编写成业务的逻辑代码并使用它自己的默认组件集成到一个完整的分布式计算程序中，使得该程序可以在Hadoop集群上同时运行。MapReduce
【参考文献】：
期刊论文
[1]基于k-means聚类的电动汽车用户行为特征可视化分析[J]. 李永攀,黄兵,解大. 电气自动化. 2019(01)
[2]应用MapReduce与视觉描述符的图像检索算法[J]. 盛昀瑶,张福泉,任艳. 重庆理工大学学报(自然科学). 2018(12)
[3]基于马氏距离多核学习的高光谱图像分类[J]. 高巍,彭宇. 仪器仪表学报. 2018(03)
[4]搭建HDFS分布式文件系统[J]. 刘景云. 网络安全和信息化. 2018(02)
[5]基于ASIFT算法的图像特征匹配[J]. 张振宁. 现代计算机(专业版). 2018(02)
[6]基于Hadoop分布式平台的海量图像检索[J]. 王倩,谭永杰,秦杰,柴争义,叶海琴. 南京理工大学学报. 2017(04)
[7]基于Hadoop平台的图像检索分布式算法的改进研究[J]. 丁灿,侯春萍,王宝亮. 南开大学学报(自然科学版). 2017(04)
[8]基于MapReduce框架下K-means的改进算法[J]. 阴爱英,吴运兵,朱敏琛,张莹. 计算机应用研究. 2018(08)
[9]视觉地形分类的词袋框架综述[J]. 吴航,刘保真,苏卫华,张文昌,孙景工. 中国图象图形学报. 2016(10)
硕士论文
[1]基于深度学习的双模态情感识别[D]. 袁亮.南京邮电大学 2018
[2]动态K-means算法在遥感图像挖掘领域的并行化研究[D]. 鲍黎明.南京邮电大学 2017
[3]应用SIFT算法的图像配准系统设计与实现[D]. 高文刚.中北大学 2017
[4]基于云平台的大规模图像检索研究[D]. 朱珊.北京交通大学 2017
[5]基于Hadoop云计算平台的K-Means聚类算法研究[D]. 刘洋.哈尔滨理工大学 2017
[6]SIFT特征匹配技术研究与应用[D]. 陈晗婧.南京理工大学 2017
[7]基于SIFT算法的快速图像配准技术[D]. 孙伟晔.吉林大学 2017
[8]场景图像分类的若干问题研究[D]. 谢可.东南大学 2016
[9]K-means聚类算法的改进研究[D]. 宋建林.安徽大学 2016
[10]基于PCA和LBP改进算法的人脸识别研究[D]. 霍焰焰.哈尔滨理工大学 2015
本文编号：3309571
【文章来源】：武汉邮电科学研究院湖北省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
Hadoop的整体框架
Hadoop实验集群部署结构
武汉邮电科学研究院硕士学位论文9图2-3HDFS框架HDFS是Master/Slave架构。一个HDFS集群中包含了一个NameNode（Master）和多个DataNode（Slave）。实现HDFS时，文件会被分为几个块（块大小：128M），这些块都会被存储在一些DataNodes上。NameNode主要负责的是在实时的响应client的请求的同时，还需要管理元数据信息（文件名，副本系数和存储在块中的DataNode）；DataNode会存储与用户文件相对应的块，然后周期性的对NameNode发送心跳信息，报告自身和所有块信息以及健康状态。典型的部署方法是为Hadoop集群中的一台计算机部署一个NameNode，为其他计算机部署DataNode。HDFS能够用很多个块来描述所有文件。HDFS也能够设置所有文件副本系数以及分成的块大小，同时也能够通过设置文件中的副本个数使得在新建文件时就可以获得副本系数的值。副本系数也能够在后面的操作上进行更改。NameNode通过处理块副本上的复制，按期的让DataNode获得心跳和块的状态。2.1.2MapReduce并行编程框架MapReduce是Hadoop的核心组成[28]，它是一个可以应用在数据处理方面上的编程模型。MapReduce实质上是实现并行运算的，所以在一定程度上能够将海量数据分析的任务分配到所有拥有多个机器的一个数据中心，能够运用在Hadoop平台上MapReduce所实现的并行计算这一优点。MapReduce的核心功能就是将用户的需求编写成业务的逻辑代码并使用它自己的默认组件集成到一个完整的分布式计算程序中，使得该程序可以在Hadoop集群上同时运行。MapReduce
【参考文献】：
期刊论文
[1]基于k-means聚类的电动汽车用户行为特征可视化分析[J]. 李永攀,黄兵,解大. 电气自动化. 2019(01)
[2]应用MapReduce与视觉描述符的图像检索算法[J]. 盛昀瑶,张福泉,任艳. 重庆理工大学学报(自然科学). 2018(12)
[3]基于马氏距离多核学习的高光谱图像分类[J]. 高巍,彭宇. 仪器仪表学报. 2018(03)
[4]搭建HDFS分布式文件系统[J]. 刘景云. 网络安全和信息化. 2018(02)
[5]基于ASIFT算法的图像特征匹配[J]. 张振宁. 现代计算机(专业版). 2018(02)
[6]基于Hadoop分布式平台的海量图像检索[J]. 王倩,谭永杰,秦杰,柴争义,叶海琴. 南京理工大学学报. 2017(04)
[7]基于Hadoop平台的图像检索分布式算法的改进研究[J]. 丁灿,侯春萍,王宝亮. 南开大学学报(自然科学版). 2017(04)
[8]基于MapReduce框架下K-means的改进算法[J]. 阴爱英,吴运兵,朱敏琛,张莹. 计算机应用研究. 2018(08)
[9]视觉地形分类的词袋框架综述[J]. 吴航,刘保真,苏卫华,张文昌,孙景工. 中国图象图形学报. 2016(10)
硕士论文
[1]基于深度学习的双模态情感识别[D]. 袁亮.南京邮电大学 2018
[2]动态K-means算法在遥感图像挖掘领域的并行化研究[D]. 鲍黎明.南京邮电大学 2017
[3]应用SIFT算法的图像配准系统设计与实现[D]. 高文刚.中北大学 2017
[4]基于云平台的大规模图像检索研究[D]. 朱珊.北京交通大学 2017
[5]基于Hadoop云计算平台的K-Means聚类算法研究[D]. 刘洋.哈尔滨理工大学 2017
[6]SIFT特征匹配技术研究与应用[D]. 陈晗婧.南京理工大学 2017
[7]基于SIFT算法的快速图像配准技术[D]. 孙伟晔.吉林大学 2017
[8]场景图像分类的若干问题研究[D]. 谢可.东南大学 2016
[9]K-means聚类算法的改进研究[D]. 宋建林.安徽大学 2016
[10]基于PCA和LBP改进算法的人脸识别研究[D]. 霍焰焰.哈尔滨理工大学 2015
本文编号：3309571
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3309571.html
最近更新
教材专著
