基于图像特征及上下文的图像标注算法研究与实现

发布时间：2020-05-18 22:27

【摘要】：近些年来,随着信息技术、互联网尤其是移动互联网的迅速发展,网络上各种数据信息呈爆发式增长,人们正从信息时代步入大数据时代,对这些数据进行整理、分析、理解将产生巨大的价值。不同于传统数据分析处理的结构化数据,网络上绝大多数据属于非结构化数据,而这些非结构化数据中图像占了较大部分,对互联网中图像的分析、研究显得愈发重要。由于人们所理解的语义信息与图像底层特征之间“语义鸿沟”的存在,用户想要从海量的互联网图片中寻找出自己感兴趣的图片是较为困难的,迫切需要一种方法来方便用户寻找到所期望的图片,因此,连接高层语义与低层图像特征的方法逐步成为研究的一个热点,而图像自动标注技术(Automatic Image Annotation, AIA)是一个较好的填补用户与图片之间“语义鸿沟”的方法。传统的“图像自动标注技术”仅仅着眼于图像本身,对图像相关信息的利用局限于图像本身特征而没有考虑其他信息,在互联网时代,图像大多存储在网络上,而这些互联网上图像有着丰富的上下文信息,对这些上下文信息加以分析利用将有助于对图像产生更准确、丰富的标注。本文对图像自动标注问题进行了研究。采用了一种基于图像特征和上下文信息的互联网图像自动标注方法来对图像进行标注,该方法分为两个阶段,通过图像特征进行标注以及通过上下文对图像进行补充标注。在利用图像特征进行标注过程中,本文同时利用了图像深度学习特征和SURF特征对图像进行标注,并对二者的标注结果按一定权重进行融合。本文并没有像传统方法那样利用一个训练好的分类器,然后根据图像特征对图像进行分类,而采用了一种新的标注方法,利用已经标注图像与待标注图像的相似性,来对待标注图像进行标注,这样就将图像的自动标注问题转化为图像的检索问题。为了加快图像的检索过程,本文采用B+树森林结构来实现高维向量的快速近似最近邻(ANN)检索。该结构基于图像特征,通过构造多个由随机向量构成的随机分类平面来对样本图像特征进行划分,位于随机分类平面两侧的特征分别被划分到分类平面的不同子树中,再采用与上层不同的随机分类平面对分类结果进行二分类,重复以上过程,直至该类中的图片数量不超过阙值为止,最终形成B+树类型的数据结构,通过构造多个这样的B+树形成B+树森林。在利用深度学习进行图像标注时,利用上述数据结构对待标注图片特征进行划分,理论上,和待标注图片划分在相同叶子节点的样本图片与待标注图片相似度高,利用这些图片与待标注图片的相似度对样本图像的标注进行加权投票,可得到待标注图像的深度学习标注。对于SURF特征标注过程,采用与深度学习标注类似的思想,在样本图像库中检索SURF特征最相似的TopN张图片,对这TopN张图片的标注进行加权,可得到待标注图像的SURF特征标注。对深度学习标注结果和SURF标注结果按照一定的权重进行融合即可得到图像特征标注。图像的上下文往往包含与图像内容相关的信息,通过对图像上下文信息的分析挖掘,将产生更加丰富准确的标注。本文通过图像上下文信息对图像进行补充标注。利用RAKE算法对图像的上下文信息进行核心关键词提取,可得到图像的上下文关键词及对应的权重,为了防止引入无关的上下文信息,产生错误的标注结果,本文利用该关键词标注与图像特征标注的杰卡德距离来对上下文关键词标注的权重进行重新加权,然后对加权之后关键词标注集合与特征标注集合进行合并,对每个标注按照其权重大小进行排序,并按照一定的阈值进行选取,即可得到最终的图像标注结果。与传统方法相比,本文所方法的优点是无需对每个标签进行单独训练、标注效率高,且由于本文方法不受训练集或者标注词集合的限制,标注结果更加丰富。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41

【相似文献】

相关期刊论文 前10条

1 刘峥;马军;;一种基于图划分和图像搜索引擎的图像标注改善算法[J];计算机研究与发展;2011年07期

2 卢英;刘金义;高辉;路宏;;地图中点状要素标注算法设计[J];计算机与数字工程;2006年05期

3 朱松豪;梁志伟;;基于半监督学习模型的自动图片标注研究[J];南京邮电大学学报(自然科学版);2010年06期

4 李劲;张华;吴浩雄;向军;辜希武;;基于社会标注质量的文本分类模型框架[J];计算机应用;2012年05期

5 袁莹;邵健;吴飞;庄越挺;;结合组稀疏效应和多核学习的图像标注[J];软件学报;2012年09期

6 褚颖娜;廖敏;宋继华;;一种基于统计的分词标注一体化方法[J];计算机系统应用;2009年12期

7 虎晓红;李炳军;苏晓珂;;基于叙词查询的图像标注方法[J];郑州大学学报(理学版);2011年02期

8 杨沐昀,李生,赵铁军;汉英双语标注集的研究与实现[J];情报学报;2000年05期

9 舒燕;吕学强;;搜索引擎日志短语标注规范[J];中文信息学报;2013年02期

10 邱泽宇;方全;桑基韬;徐常胜;;基于区域上下文感知的图像标注[J];计算机学报;2014年06期

相关会议论文 前5条

1 朱松豪;刘允才;;基于语义相似性的自动图片标注研究[A];第四届和谐人机环境联合学术会议论文集[C];2008年

2 邹煜;;新闻播音语言韵律标注初探[A];第二届全国学生计算语言学研讨会论文集[C];2004年

3 姜文斌;王志洋;刘群;吕雅娟;;基于马尔可夫间隔标注的中文分词算法[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

4 满正行;高璐;;藏语单语料库分析及标注探讨[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

5 徐琳宏;林鸿飞;;文本情感语料库的构建和分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

相关重要报纸文章 前1条

1 中国社会科学院民族学与人类学研究所 燕海雄;中国民族语言语法标注研究取得新进展[N];中国社会科学报;2014年

相关博士学位论文 前7条

1 张静;众包系统偏置标注问题研究[D];合肥工业大学;2015年

2 芮晓光;真实世界环境下的自动图像标注方法研究[D];中国科学技术大学;2010年

3 刘凯鹏;社会性标注关键技术及其在信息检索中的应用研究[D];哈尔滨工业大学;2010年

4 汪萌;基于机器学习方法的视频标注研究[D];中国科学技术大学;2008年

5 钟岑岑;基于上下文的音视频标注研究[D];北京交通大学;2014年

6 燕杨;基于条件随机场的医学文本与图像标注模型构建及应用研究[D];吉林大学;2015年

7 包胜华;基于Web的实体信息搜索与挖掘研究[D];上海交通大学;2008年

相关硕士学位论文 前10条

1 韩杰冰;基于字角色标注的中文专利术语识别研究[D];南京大学;2015年

2 李智;CAPP系统中智能动态标注方法的设计与实现[D];北京理工大学;2016年

3 曾明明;基于图像特征及上下文的图像标注算法研究与实现[D];电子科技大学;2016年

4 何斯琼;基于稀疏回归模型的图像标注研究[D];浙江大学;2010年

5 王上;地理信息系统中地图标注问题的研究与实现[D];吉林大学;2004年

6 周宁;融合标注词相关性信息的图像语义标注研究[D];复旦大学;2009年

7 夏静;基于社会标注的主题分类及排序优化方法研究[D];华中科技大学;2011年

8 贾贝贝;基于文本的未标注图像检索算法研究[D];南京大学;2012年

9 赵勇;基于社会标注的主题爬虫研究[D];华中科技大学;2009年

10 郑皓;社会化互联网的内容和结构挖掘[D];上海交通大学;2009年

，

本文编号：2670402