基于内容的图片管理平台研究与实现

发布时间：2020-06-19 09:09

【摘要】：随着智能手机在大众消费中的流行和普及,智能手机的相机功能成为广大用户记录生活点点滴滴的一种基本方式。每个人的手机中都有几百或者上千张图片,研究和开发基于内容的智能图片管理平台实现对图片高效的分类和管理,具有一定的理论研究价值和面向广大智能手机用户的应用价值。本文的主要工作是基于Hypotheses-CNN-Pooling(HCP)网络设计了一种可以移植到移动端的网络结构,并且在此算法的基础上实现了基于内容的图片管理平台。改进网络主要思路有两个,第一个是使用共享特征图的思想,降低网络的计算复杂度。第二个是为了更进一步的减少其对资源的占用,在第一步HCP改进网络的基础上,设计了一种MobileNet提取共享特征的HCP网络,使其真正能够移植到移动端。具体工作如下:(1)针对HCP网络结构复杂,占用内存较多而无法移植到移动端的情况,设计了一种共享特征图的HCP网络。HCP神经网络是多标签神经网络,但是因为其内存占用多而无法将其移植到手机端,为了减少其计算复杂度,本文把Fast R-CNN共享特征图的思想应用到HCP神经网络中,通过共享特征图的方式减少计算量,在准确率基本不变的情况下降低HCP计算复杂度。具体改进方案是将HCP中的共享神经网络分为两个部分,前一部分为特征网络,其作用是提取共享特征。后一部分为分类器,其作用是实现候选区域对应位置的特征图分类。(2)为了进一步减少对资源的消耗和内存占用,本文设计了一种使用MobileNet提取共享特征的HCP网络。HCP神经网络使用VGG-16和AlexNet作为共享网络,但是由于VGG-16网络庞大,即使使用共享特征图也不能在移动端表现得很好,而AlexNet准确率比较低,也不满足需求。针对这种情况,本文在HCP第一步改进的基础上把共享神经网络替换为MobileNet,因为MobileNet神经网络计算量很小且准确率比较高,所以使用MobileNet可以在基本保持准确率不变的情况下减少HCP网络的计算复杂度和内存占用,从而可以将其应用到移动端。(3)在改进的HCP网络的基础上实现了一个基于内容的图片管理平台。用户不需要将其照片上传到服务器即可实现图片管理的功能。本平台主要是基于图片内容管理图片,图片内容主要包括图片Exif信息中的时间信息、位置信息以及图片场景内容信息。除此之外,为了方便用户使用本管理平台也实现了按照用户本地图库展示图片的功能,同时提供了很多小功能比如拍照、生成影集等。该平台可以智能地管理用户相册中的图片,方便用户查找图片中有效信息。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：

特征图,图像,输入层,卷积

积神经网络有很多的优点，比如，可以输入直接输入原图像就可以进行处理，省去了图逡逑像预处理的步骤。局部连接和权值共享是卷积神经网络的两个很大的特点，通过这两种逡逑方式，可以减少参数的数量，提高训练速度和一定的泛化能力。如图２－１所示，是一个逡逑卷积神经网络模型的例子。逡逑逦８＊８邋逦＂邋４＊４邋ＦＴ逦逡逑－２４邋—邋１２．２逦＼Ｘ／逡逑Ａｎ邋…ｉｔＨ＃逡逑＼邋２４＊２４逦ＪＡ逡逑逦邋逦邋＾邋８＊８邋逦？邋４＊４邋匕逦ｈ）邋１＊１逡逑输入层ｉｎｐｕｔ逦卷积层Ｃｌ逦采样层Ｓ２逦卷积层Ｃ３逦懫样层Ｓ４邋输出层ｏｕｔｐｕｔ逡逑１邋个２８＊２８的ｍａｐ邋ｉ邋６个２４＊２４的ｍａｐ６个邋１２＊１２的ｍａｐ邋１２个８＊８的ｍａｐ邋１２个４＊４的ｍａｐ邋１１２个邋１＊１邋的ｍａｐ逡逑图２－１卷积神经网络模型逡逑Ｆｉｇｕｒｅ邋２－１邋Ｃｏｎｖｏｌｕｔｉｏｎ邋ｎｅｕｒａｌ邋ｎｅｔｗｏｒｋ邋ｍｏｄｅｌ逡逑图２－１中是卷积神经网络处理一张图像的过程，在输入层输入一张图像，之后通过逡逑卷积和采样的过程得到多个特征图，最后通过全连接层，将图像进行分类。在图中可以逡逑看出卷积和采样是一起出现的，一般是卷积层在前，采样层在后。特征图的数量不一样，逡逑是因为在卷积过程中使用了不同的卷积核，因为不同的卷积核对应不同特征。基本的卷逡逑积神经网络结构及其各层之间的传输过程为：输入层一卷积层一ＲｅＬＵ层一池化层一全逡逑连接层一输出层。逡逑其中输入层输入的是原始图像，一般是原始的像素值，包括宽、高以及颜色通道。逡逑卷积层一般通过卷积核将图像分为不同的特征图

特征图,过程,卷积核,卷积

要依次覆盖数据的每一个像素，之后将这些点进行加权的操作，而该卷积核在图逡逑像上该点的响应值就是最后加权完成后得到的结果。逡逑神经网络主要是通过卷积的过程提取图像的特征，卷积的过程如图２＿２所示，图中逡逑使用的是３ｘ３的卷积核对像素点进行卷积运算。在使用卷积提取图像特征的过程中，通逡逑过不同的卷积核可以得到图像的不同特征。在提取特征的过程中，每一层都会经过卷积逡逑层和下采样层，经过这两层后图像的分辨率会降低，但是经过信息内容的抽取，使得特逡逑征信息越来越多，网络可以自动地学习图像中的特征。逡逑１逦Ｉ邋２邋Ｉ邋３邋Ｉ邋４逦Ｉ逦－１６逦－２４逦－２８逦－２３逡逑５逦６逦７逦８逦１逦２逦１逦－２４邋－３２邋－３２邋－２４逡逑逦伞邋０逦０逦０邋ＺＺ：逡逑９逦１０逦１１逦１２逦逦邋－２４逦－３２逦－３２逦－２４逡逑逦邋－１逦－２逦－１逡逑１３邋１４逦１５逦１６逦逦逦—Ｉ逦１逦２８邋４０邋４４逦３５逡逑图２－２卷积计算过程逡逑Ｆｉｇｕｒｅ邋２－２邋Ｃｏｎｖｏｌｕｔｉｏｎ邋ｃａｌｃｕｌａｔｉｏｎ邋ｐｒｏｃｅｓｓ逡逑池化就是下采样（ｄｏｗｎｓａｍｐｌｅｓ）的过程，一般池化的目的在于减少特征图的数量。逡逑池化过程对于每个切片是独立的，一般在卷积操作之后进行。以在２ｘ２的规模下进行运逡逑算为例，池化一般有以下几种运算方法，分别如下：逡逑１）最大槐化：即我们常说的Ｍａｘ邋Ｐｏｏｌｉｎｇ

【参考文献】