跨媒体数据的语义分类和检索
发布时间：2020-02-10 21:27
【摘要】：随着信息技术和社交网络的迅猛发展,数字图像、文本、音频、视频等跨媒体数据正在改变着人们的生活和工作方式。如何使计算机理解跨媒体数据的语义内容和分析跨媒体数据之间的关联,已经成为跨媒体和模式识别领域的重要研究课题。本文以跨媒体数据为研究对象,针对跨媒体语义增强、跨媒体检索和多标签属性学习等关键问题开展了深入的研究工作,论文的主要创新性研究成果包括：1.提出一种跨媒体语义增强框架,并应用于基于内容的图像检索。跨媒体语义增强的目标是通过利用视觉特征和文本特征之间的对应关系,寻求一种有效的映射机制。基于这种映射,视觉特征的杂乱分布特性可以通过具有显著判别分布特性的文本特征进行改善。实验结果表明该方法可以有效地提升图像检索任务的性能。2.提出一种任务驱动的跨媒体检索算法(Task-specific Cross-media Retrieval,简称TSCR). TSCR通过联合优化成对图像和文本之间的相关性以及某种模态(文本或图像)特征向其对应语义空间的线性回归,从而获得两组将文本和图像原始特征投影到同构空间中的映射矩阵,分别用于图像检索文本和文本检索图像。实验结果验证了TSCR算法的有效性。3.提出一种深度语义匹配(deep Semantic Matching,简称deep-SM)算法用来解决跨媒体检索问题。deep-SM通过两种不同的深度神经网络将图像和文本映射到同构的语义空间中,进而实现两种模态数据之间的跨媒体检索。同时对比分析深度卷积神经网络(Convolutional Neural Network,简称CNN)的视觉特征对跨媒体检索的影响。实验结果验证了deep-SM算法和CNN视觉特征对跨媒体检索的有效性。4.提出一种HCP (Hypotheses-CNN-Pooling)深度学习框架用于解决多标签属性分类问题。HCP利用一种似物性推荐框(Hypotheses)筛选方法对每张多标签图片选取了少量具有代表性的Hypotheses,并通过共享的CNN和跨Hypotheses的池化(Pooling)策略构建了一个有效的多标签预测框架.HCP通过端到端的方式进行训练并在Pascal VOC 2007和VOC 2012两个数据集上获得了国际领先的分类性能。
【图文】：
及心心及互联网技术和社交网络的飞速发展，人们越来越习惯于在互联网中通过逡逑各种社交网络（如Q啠椋悖耄颉ⅲ裕鳎椋簦簦澹颉ⅲ疲幔悖澹猓铮铮搿ⅲ伲铮酰簦酰猓濉⒂趴帷⑿吕宋⒉┑龋├村义戏⒉枷喙氐亩嗝教迨荨Ｍ迹保哺隽说鼻耙恍┲计窒硗镜淖⒉崛嗽笔义狭浚俊＞萃臣疲缃煌纾疲幔悖澹猓铮铮朊刻斓钠骄洗计吭冢币谡派希渥苠义鲜考壕保埃埃耙谡牛恢计窒硗荆疲欤椋悖耄蚝停桑睿螅欤幔纾颍幔淼纳洗计芾镥义弦卜直鸫锏搅隋澹叮耙谡藕停保耙谡牛唬裕鳎椋簦簦澹蛎刻旆⒉嫉模裕鳎澹澹簦笫砍保匆谔酰诲义希伲铮蹩郏猓迕糠种由洗氖悠凳背こ保埃靶∈薄些大规模的多媒体数据在高层逡逑语义上通常具有较强关联性，同时与其相关的标注信息和用户评论信息也可ｔＵ反逡逑映出这些数据的语义内容。逡逑在跨媒体数据飞速发展的背景下，利用跨媒体之间的关联性，深入理解和挖逡逑掘数据中所包含的信息，，对人们的生活和社会的发展都具有重要意义。首先，通逡逑过对社交网络中网民发布的图片和评论等跨媒体数据进行分析，可有效了解群逡逑众对当前一些热点话题的看法或预测出影响公共安全的社会问题，帮助政府部口逡逑或相关机构制定相应的应对策略。其次
用于解决文本和图像之间的跨媒体检索问题。文献ＵＷ通过引入第Ｈ种高层语义逡逑的视角信息，使得具有相同语义的文本和图巧在同构空间中具有良好的聚集性。逡逑图２．２给出了三视角ＣＣＡ方法的示意图。假设共有ｎ姐训练数据，每一组训练逡逑数据包含一个Ｖ维的视觉特征，一个／维的文本特征和一个Ｃ维的氋层语义特逡逑征。令训练数据中的图像、文本和语义信息对应的特征矩阵分别是ＸｉｅＲ＂ｘｖ，逡逑NB２邋６邋Ｒ＂ｗ和Ａ邋ｅ及定义的？）为将特征从原始空间映射到另外一个非线性核空逡逑间的核函数，进而三视角ＣＣＡ的目标是通过优化映射矩阵Ｗ，片＝１，２，３）将文本逡逑和图像从巧维的非线性空间中映射到低维的同构空间中，使得具有同样语义的文逡逑本和困像在同构空间中的距离最小。其对应的优化公式为，逡逑热Ｖ乏ＪＩａ化）Ｗ邋－的斯Ｗ｜倍逦口邋７）逡逑王Ｗｆ邋完ａＷ邋＝逦＝邋０，１．邋Ｊ邋＝邋１，…，３，邋＊邋NB邋＊，；邋＝邋１，邋－邋．．邋，邋ｄ，邋Ａ邋幸邋／逡逑其中２：ｙ为化）巧e浚ㄓ耄┑男讲罹卣螅鳎崾牵
本文编号：2578257
【图文】：
及心心及互联网技术和社交网络的飞速发展，人们越来越习惯于在互联网中通过逡逑各种社交网络（如Q啠椋悖耄颉ⅲ裕鳎椋簦簦澹颉ⅲ疲幔悖澹猓铮铮搿ⅲ伲铮酰簦酰猓濉⒂趴帷⑿吕宋⒉┑龋├村义戏⒉枷喙氐亩嗝教迨荨Ｍ迹保哺隽说鼻耙恍┲计窒硗镜淖⒉崛嗽笔义狭浚俊＞萃臣疲缃煌纾疲幔悖澹猓铮铮朊刻斓钠骄洗计吭冢币谡派希渥苠义鲜考壕保埃埃耙谡牛恢计窒硗荆疲欤椋悖耄蚝停桑睿螅欤幔纾颍幔淼纳洗计芾镥义弦卜直鸫锏搅隋澹叮耙谡藕停保耙谡牛唬裕鳎椋簦簦澹蛎刻旆⒉嫉模裕鳎澹澹簦笫砍保匆谔酰诲义希伲铮蹩郏猓迕糠种由洗氖悠凳背こ保埃靶∈薄些大规模的多媒体数据在高层逡逑语义上通常具有较强关联性，同时与其相关的标注信息和用户评论信息也可ｔＵ反逡逑映出这些数据的语义内容。逡逑在跨媒体数据飞速发展的背景下，利用跨媒体之间的关联性，深入理解和挖逡逑掘数据中所包含的信息，，对人们的生活和社会的发展都具有重要意义。首先，通逡逑过对社交网络中网民发布的图片和评论等跨媒体数据进行分析，可有效了解群逡逑众对当前一些热点话题的看法或预测出影响公共安全的社会问题，帮助政府部口逡逑或相关机构制定相应的应对策略。其次
用于解决文本和图像之间的跨媒体检索问题。文献ＵＷ通过引入第Ｈ种高层语义逡逑的视角信息，使得具有相同语义的文本和图巧在同构空间中具有良好的聚集性。逡逑图２．２给出了三视角ＣＣＡ方法的示意图。假设共有ｎ姐训练数据，每一组训练逡逑数据包含一个Ｖ维的视觉特征，一个／维的文本特征和一个Ｃ维的氋层语义特逡逑征。令训练数据中的图像、文本和语义信息对应的特征矩阵分别是ＸｉｅＲ＂ｘｖ，逡逑NB２邋６邋Ｒ＂ｗ和Ａ邋ｅ及定义的？）为将特征从原始空间映射到另外一个非线性核空逡逑间的核函数，进而三视角ＣＣＡ的目标是通过优化映射矩阵Ｗ，片＝１，２，３）将文本逡逑和图像从巧维的非线性空间中映射到低维的同构空间中，使得具有同样语义的文逡逑本和困像在同构空间中的距离最小。其对应的优化公式为，逡逑热Ｖ乏ＪＩａ化）Ｗ邋－的斯Ｗ｜倍逦口邋７）逡逑王Ｗｆ邋完ａＷ邋＝逦＝邋０，１．邋Ｊ邋＝邋１，…，３，邋＊邋NB邋＊，；邋＝邋１，邋－邋．．邋，邋ｄ，邋Ａ邋幸邋／逡逑其中２：ｙ为化）巧e浚ㄓ耄┑男讲罹卣螅鳎崾牵
本文编号：2578257
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/2578257.html
