基于深度学习的图像中文语义理解研究

发布时间：2020-12-27 23:52

　　图像语义理解的任务就是对给定的图像进行语言描述和理解,它的研究内容横跨了机器视觉和自然语言处理领域。对比其它任务,该任务不仅要求识别图中的关键物体,同时需要理解各个关键物体之间的关系,从而得到一些抽象的概念,即语义信息,最后用一句相对比较自然的语句表达出来。近年来,随着机器翻译和大数据的兴起,国内外掀起了图像理解的研究浪潮,但是在语义理解的研究中普遍存在描述图像内容的准确性和完整性尚低的现象,同时又由于中文本身的特殊性,使得对图像的中文语义理解这一任务没有取得很好的进展,本文采用自动编码-解码网络主框架,在2017年“AI Challenger.全球AI挑战赛”的图像中文描述子问题提供的比赛库上能够较好的解决上述问题。主要工作包括:●图像特征提取方法的分析与选取。对比与现有的传统手工特征,目前的深度特征更具有优势,在本文中采用深度特征作为图像特征编码,并且在实验中对比和分析了 VGG 网络（The Visual Geometry Group Neural Network）和ResNet（Residual Network）的特征提取对于中文语义理解的效果。●中文标注预处理与编码的方法与实... 

【文章来源】：厦门大学福建省 211工程院校 985工程院校 教育部直属院校

【文章页数】：94 页

【学位级别】：硕士

【部分图文】：

图１－１目标分类??

知的前段时间，最容易注意到的是场景里的全局特征和空间结构。所以，如何构??建合适的视觉模型来解决场景识别和分类是图像理解的重要问题之一。场景分类??的示例如图１－２所示：??ａ．教室?ｂ．田野??１?．ｗｇ＾．?ｒｉｌｆｔｌｆ?？?????ｃ．雪地?ｄ．海洋??图１－２场景分类??１．１．２图像理解层次化??图像中包含的语义信息是层次化的［３］，按其复杂程度分为三层，如图１－３所??示。低层即图像处理层，包含图像的基本视觉；中层即图像的分析层，由低层特??征推导而来；高层即图像认知层，包含场景、行为、感情等高级抽象特征。中间??层的存在是为了缩短低高层语义之间的跨度。一般情况下，上层特征会比下层更??加抽象，更具表达力。上层特征可通过下层推导而来。??低层特征是图像的低级特征，可以直接从图像中得到，包括颜色、纹理、边??缘信息等。颜色特征是一种常用的图像特性，可以直观的看到。图像的颜色特征??是在像素级别上进行统计

第一章绪论和梯度等信息来对图像进行有效的筛选。边缘信息是图像的基本特征，区域和另一个区域的交接处，是区域属性变化最大的地方，即梯度变化方。常用来提取边缘的方法有：微分算子、高斯算子、索贝尔算子等。物体检测中，低层特征常用于实现定位。??高层特征是用人类的认知方式来理解图像的语义信息，包括对图像场景、为以及其情感等比较抽象的语义。场景语义表示图像的场景类别标签，分类和图像检索；通过对场景中存在的动作或行为进行建模，来理解场事件即行为语义，如打篮球、跑马拉松等；通过对场景中的情感活动进行分解图像要表达的感情信息即情感语义，如伤心、欢快等。??

【参考文献】：
期刊论文
[1]融合图像场景及物体先验知识的图像描述生成模型[J]. 汤鹏杰,谭云兰,李金忠.  中国图象图形学报. 2017(09)



本文编号：2942735