面向航空安全事件的跨媒体信息图文关联方法研究
发布时间：2021-01-09 20:40
随着人民生活水平的不断提高,越来越多的人也开始选择通过民航系统出行。而在民航飞行规模增长的同时,一些可能影响民航飞行过程中的安全隐患也逐渐浮出水面。航空安全事件是指与航空器运行有关的,造成人员伤亡、经济损失、航空器损坏或失踪的意外事件。与此同时,信息资源的爆炸式增长与网络资讯的飞速传播,对于航空安全事件的数据收集与整理也造成了极大的挑战。因此,研究面向跨媒体信息的图文关联方法,并应用在航空安全事件的知识库构建上,具有重要意义,本文对以下内容进行了研究。针对航空安全事件模态单一的问题提出了一种基于循环残差网络的改进方法用于图文检索。该方法的主体为包含残差连接与循环连接的双分支嵌入网络,在精简计算量的同时提取更深的特征。对算法的改进主要在于特征提取步骤中采用的高斯-拉普拉斯多重混合模型的使用,目标函数采用基于三元组的双向排序损失。以R@K作为实验指标,表明了该设置对于实验效果有着一定的改进。在公共数据集上,双向检索的R@K值与改进前的循环残差网络相比提高了近1%,将该特征嵌入方法应用于航空安全事件图像和文本的双向检索,实验效果也比不使用嵌入组件的网络更好。为了实现面向航空安全事件更准确的图...
【文章来源】：中国民航大学天津市
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
突发事件跨媒体信息检索系统
纾―eepConvolutionalNeuralNetwork，DCNN）应用在图像识别领域的大门[29]。网络结构如图2-2所示。早期基于DCNN的图像识别方法通常将图像分为对象和背景区域进行识别。随着深度神经网络的发展，图像识别技术也逐渐完成了从手工标注到自动化、规模不断扩大，结合自然语言处理技术从而对图像进行描述、到应用拓展的过渡。从图像的识别到语义分析的难点在于[30]：（1）图像的视觉表达与语义之间的表达可能存在完全不同的指代，产生巨大的语义鸿沟（SemanticGap）；（2）语义表达自身所具有的多义性和不确定性（Ambiguity）。图2-2AlexNet网络结构图图像的文本描述最早是由Farhadi等人[31]提出。具体的形式化描述为：令I表示图像，S表示文本描述，模型完成从图像I到描述句子S的跨越模态映射。早期的图像描述方法基于模板，将从图像中识别出来的实体、属性和关系等信息填充到预设的句子模板中形成对图像的描述。Yang[32]等人用隐马尔科夫模型选择可能的对象、动词、介词以及背景类型填充句子的模板。但这一方式受限于人工预设的句子模型，生成的文本描述不具有多样性。基于检索的方法将图像的文本描述问题看作信息检索问题，首先利用图像视觉特征上的相似性检索候选图像集（带标注），再通过统计或聚类的方法将标注组合生成图像的候选文本描述，最后对图像的候选文本描述进行排序，选取最优结果[33-34]。GIST和SIFT作为常
中国民航大学硕士学位论文9用的图像描述特征也在这一研究中得到了灵活使用[35]，新近的特征提取方法也结合了深度学习，如卷积神经网络VGG-CNN（VisualGeometryGroupConvolutionalNeuralNetwork）[36]。网络结构如图2-3所示。这样的方法限制在于图像标注。图2-3VGG-CNN网络结构近几年，基于编码—解码的方法在计算机视觉和自然语言处理等领域都有广泛的应用，同样的，研究人员考虑在图像描述方面应用这一类型的方法。根据编码和解码方法不同，基于编码—解码的图像文本描述方法又可分为三种：基于融合的方法、基于注意力的方法以及基于强化学习的方法[33]。然而，大多数的图像与文本相关研究都集中在从图像生成文本描述方面，属于不同模态间的单方向研究。2.2.2文本指向图像当给定查询文本，需要依据文本的表意去检索展示或者反映了相似内容的图像。在从文本检索图像这一方面，早期的仅使用特定的关键词来匹配的方法越来越令人感到掣肘，所以在使用文本对图像进行检索这一研究范畴内，逐渐开始引进更多辅助道具用来检索，包括结合内容、颜色、语义进行检索等方案。比如Squire[37]等人提出的结合图像中稀疏的颜色和纹理特征的特征加权方案，相关性反馈也使该文本检索系统在性能上得到了提升。此外，关系也可以作为构建文本与图像模态之间的沟通桥梁。Lin[38]等人通过关系建模了文本的视觉表示，将该视觉表示与文本本身整合到一起进行检索，得到最终检索排名。Feng[39]将基于统计模型的文本检索图像技术进行了一个系统的梳理，主要研究了基于注释检索的两个概率生成模型和通用图像的直接检索模型。但是对于大规模甚至是无监督的杂乱形式数据，机器学习仍然比起传统的统计方法更胜一筹。Cornia[40]提出的基
【参考文献】：
期刊论文
[1]图像语义分割方法综述[J]. 胡涛,李卫华,秦先祥. 测控技术. 2019(07)
[2]分类重构堆栈生成对抗网络的文本生成图像模型[J]. 陈鑫晶,陈锻生. 华侨大学学报(自然科学版). 2019(04)
[3]民航突发事件领域本体关系提取方法的研究[J]. 王红,李晗,李浩飞. 计算机科学与探索. 2020(02)
[4]深度学习在图像识别中的应用研究综述[J]. 郑远攀,李广阳,李晔. 计算机工程与应用. 2019(12)
[5]基于语义相关性与拓扑关系的跨媒体检索算法[J]. 代刚,张鸿. 计算机应用. 2018(09)
[6]图像的文本描述方法研究综述[J]. 马龙龙,韩先培,孙乐. 中文信息学报. 2018(04)
[7]数字图像语义标注模型比较与分析[J]. 陈金菊,欧石燕. 图书情报工作. 2018(06)
[8]基于贝叶斯网络的民航突发事件因果关系分析方法研究[J]. 王红,郭笑丹,祝寒. 计算机应用研究. 2019(03)
[9]图像语义相似性网络的文本描述方法[J]. 刘畅,周向东,施伯乐. 计算机应用与软件. 2018(01)
[10]SURF算法的降维研究[J]. 卢清薇,罗旌钰,王云峰. 软件. 2017(12)
本文编号：2967361
【文章来源】：中国民航大学天津市
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
突发事件跨媒体信息检索系统
纾―eepConvolutionalNeuralNetwork，DCNN）应用在图像识别领域的大门[29]。网络结构如图2-2所示。早期基于DCNN的图像识别方法通常将图像分为对象和背景区域进行识别。随着深度神经网络的发展，图像识别技术也逐渐完成了从手工标注到自动化、规模不断扩大，结合自然语言处理技术从而对图像进行描述、到应用拓展的过渡。从图像的识别到语义分析的难点在于[30]：（1）图像的视觉表达与语义之间的表达可能存在完全不同的指代，产生巨大的语义鸿沟（SemanticGap）；（2）语义表达自身所具有的多义性和不确定性（Ambiguity）。图2-2AlexNet网络结构图图像的文本描述最早是由Farhadi等人[31]提出。具体的形式化描述为：令I表示图像，S表示文本描述，模型完成从图像I到描述句子S的跨越模态映射。早期的图像描述方法基于模板，将从图像中识别出来的实体、属性和关系等信息填充到预设的句子模板中形成对图像的描述。Yang[32]等人用隐马尔科夫模型选择可能的对象、动词、介词以及背景类型填充句子的模板。但这一方式受限于人工预设的句子模型，生成的文本描述不具有多样性。基于检索的方法将图像的文本描述问题看作信息检索问题，首先利用图像视觉特征上的相似性检索候选图像集（带标注），再通过统计或聚类的方法将标注组合生成图像的候选文本描述，最后对图像的候选文本描述进行排序，选取最优结果[33-34]。GIST和SIFT作为常
中国民航大学硕士学位论文9用的图像描述特征也在这一研究中得到了灵活使用[35]，新近的特征提取方法也结合了深度学习，如卷积神经网络VGG-CNN（VisualGeometryGroupConvolutionalNeuralNetwork）[36]。网络结构如图2-3所示。这样的方法限制在于图像标注。图2-3VGG-CNN网络结构近几年，基于编码—解码的方法在计算机视觉和自然语言处理等领域都有广泛的应用，同样的，研究人员考虑在图像描述方面应用这一类型的方法。根据编码和解码方法不同，基于编码—解码的图像文本描述方法又可分为三种：基于融合的方法、基于注意力的方法以及基于强化学习的方法[33]。然而，大多数的图像与文本相关研究都集中在从图像生成文本描述方面，属于不同模态间的单方向研究。2.2.2文本指向图像当给定查询文本，需要依据文本的表意去检索展示或者反映了相似内容的图像。在从文本检索图像这一方面，早期的仅使用特定的关键词来匹配的方法越来越令人感到掣肘，所以在使用文本对图像进行检索这一研究范畴内，逐渐开始引进更多辅助道具用来检索，包括结合内容、颜色、语义进行检索等方案。比如Squire[37]等人提出的结合图像中稀疏的颜色和纹理特征的特征加权方案，相关性反馈也使该文本检索系统在性能上得到了提升。此外，关系也可以作为构建文本与图像模态之间的沟通桥梁。Lin[38]等人通过关系建模了文本的视觉表示，将该视觉表示与文本本身整合到一起进行检索，得到最终检索排名。Feng[39]将基于统计模型的文本检索图像技术进行了一个系统的梳理，主要研究了基于注释检索的两个概率生成模型和通用图像的直接检索模型。但是对于大规模甚至是无监督的杂乱形式数据，机器学习仍然比起传统的统计方法更胜一筹。Cornia[40]提出的基
【参考文献】：
期刊论文
[1]图像语义分割方法综述[J]. 胡涛,李卫华,秦先祥. 测控技术. 2019(07)
[2]分类重构堆栈生成对抗网络的文本生成图像模型[J]. 陈鑫晶,陈锻生. 华侨大学学报(自然科学版). 2019(04)
[3]民航突发事件领域本体关系提取方法的研究[J]. 王红,李晗,李浩飞. 计算机科学与探索. 2020(02)
[4]深度学习在图像识别中的应用研究综述[J]. 郑远攀,李广阳,李晔. 计算机工程与应用. 2019(12)
[5]基于语义相关性与拓扑关系的跨媒体检索算法[J]. 代刚,张鸿. 计算机应用. 2018(09)
[6]图像的文本描述方法研究综述[J]. 马龙龙,韩先培,孙乐. 中文信息学报. 2018(04)
[7]数字图像语义标注模型比较与分析[J]. 陈金菊,欧石燕. 图书情报工作. 2018(06)
[8]基于贝叶斯网络的民航突发事件因果关系分析方法研究[J]. 王红,郭笑丹,祝寒. 计算机应用研究. 2019(03)
[9]图像语义相似性网络的文本描述方法[J]. 刘畅,周向东,施伯乐. 计算机应用与软件. 2018(01)
[10]SURF算法的降维研究[J]. 卢清薇,罗旌钰,王云峰. 软件. 2017(12)
本文编号：2967361
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2967361.html
