基于特征融合的跨模态检索方法研究与应用
发布时间：2022-01-01 19:40
随着互联网纪元的来临,每天有大量的数字信息被请求与传输。这些数码讯息有着文字、图片、视频、音频等各自不同的模态种类,针对此类多模态数据的相关检索操作也逐渐被人们所重视。此外,由于数字博物馆与资料数字化的进展,以中国书画为数据源产生了大量的相关图像、文本等数字信息,如何更好地整理与利用此类数据,更有效的完成跨模态检索任务,也成为多模态数据研究领域中一个重要的分支。本文以文本和图像两个具有差异的模态数据为切入点,旨在充分发掘二者底层特征与高层语义的关联性,利用独特的特征融合方法完成跨模态检索任务。主要工作包含下述内容:（1）针对中国书画数据的特殊性与当前主流方式的局限性,提出了基于特征融合的跨模态检索方法。该方法充分利用了预训练语言模型与卷积神经网络在文本与图像特征获取的优势,提出一种特征融合方法将二者有机的结合,完成了由文本至图像以及图文组合搜索的跨模态检索任务。并将该方法在公开数据集Fashion200K与MIT-States上进行了相关实验,通过与其余几种不同模态特征的融合方法做对比,证明了所设计方法在跨模态检索性能提升上的有效性。同时,针对中国书画数据,构建了带有标签的书画图像数据...
【文章来源】：北京化工大学北京市 211工程院校 教育部直属院校
【文章页数】：94 页
【学位级别】：硕士
【部分图文】：
图１－１区域图的分割与构建??Ｆｉｇ．１－１?Ｓｅｇｍｅｎｔａｔｉｏｎ?ａｎｄ?ｃｏｎｓｔｒｕｃｔｉｏｎ?ｏｆ?ｒｅｇｉｏｎａｌ?ｍａｐ??
务。经典的共训练方法有：基于最佳预测值的Ｃｏ－ＥＭ模型基??于Ｃｏ－ＥＭ的ＳＶＭ模型［９］：协同训练复原模型ＣｏＲＥＧ［ｉｇ］等。??（２）多核学习方法??多核学习方法属于机器学习中的一类，它的核心思想为预先自定义一个或一组核??函数，之后通过学习训练而得到一种基于此种函数的优化方法，该方法可以是线性或??者是非线性，最后利用这种这种优化方法去实现具体任务。每个核函数都是一种针对??原始数据的虚设，它可以被定义为某种相似度概念、某种分类器或某个量化的回归值。??根据文献［１１］，如图１－２，多核学习方法有下面两种方式：１）不一样的核函数对应着各??自的相似度概念，学习函数会选择最有效的核函数计算值或重组所有的核函数计算??值，由于该种方式使用了全部模态的数据以实现所有核的学习，所以并不能被应用至??多模态融合学习；２）因为针对差异模态数据训练了各自的核函数，所以该种方法结??合了全部的核学习成果，即可看为对全部模态数据实现融合。针对多核学习成果的组??合算法可整体划分成以下三种类别：线性、非线性以及数据依赖整合［｜１］。?????Ｋｅｒｎｅｌ?ｗ?Ｕｎｉｆｉｅｄ??ｄａｔａ?欠?Ｋｅｒｎｅｌ?２??‘?Ｉ?？??＼?上＿＿＿?Ｌｅａｒｎｉｎｇ?Ｋｅｒｎｅｌ??＼?……??１??Ｔｌｉｎｅａ：??３．?Ｄａｔａ．Ｄｅｐｅｎｄｅｎｔ??图１－２多核学习方法流程??Ｆｉｇ．１－２?Ｐｒｏｃｅｄｕｒｅｓ?ｏｆ?Ｍｕｌｔｉ－Ｋｅｎｅｒｌ?ｌｅａｒｎｉｎｇ??正因为多核学习方法中不同的核函数对应了不同模态的数据，所以对每个核函数??采取对应的调整与优化便可以有效改善学习结果的性能，并应用至多模态任务之中。?
?第一章绪论???的任务［｜４］。文献［１５］提出了一种基于多核离散表示的归类学习方法，该方法将离散编码??与字典学习的方式一起应用至多核空间中，利用相似核合并以及离散系数计算来获得??核的权重优化，并使用该方法有效的完成了人脸识别任务。??（３）子空间学习方法??如图１－３所示，子空间学习方法是建立在所有模态数据都能够被投射至相同的共??享子空间中，在该同结构共享空间中则能够实现数据的聚类与分类等操作。??？??Ｓｐａｃｅ?１?〇０??ｒ?°［ｘ?Ｓｈａｒｅｄ??＾－７?女一〇?〇＇°ｖ?Ｓｕｂｓｐａｃｅ??阳々?：减Ｓ?｜??ｄａｔａ?：?〇〇ｌ?〇??Ｓｐａｃｅ?ｎ?°?〇??４?？？Ｖ?＊??＾?°?Ａ??图１－３共享子空间学习??Ｆｉｇ．?１－３?Ｓｈａｒｅｄ?ｓｕｂｓｐａｃｅ?ｌｅａｒｎｉｎｇ??起初，Ｈａｒｄｏｏｎ?等人利用典型相关分析（Ｃａｎｏｎｉｃａｌ?Ｃｏｒｒｅｌａｔｉｏｎ?Ａｎａｌｙｓｉｓ，ＣＣＡ）的??策略将差异模态间的数据完成极限程度关联ｎ６］，从而学习出最优的共享子空间，并得??到各个模态所相应的映射矩阵。以此思想为基础，Ｐｅｒｅｉｒａ等人提出ＣＣＡ的负线性??优化策略，即基于核ＣＣＡ?（ＫｅｎｅｒｌＣＣＡ，ＫＣＣＡ）的同享子空间学习方法。此方法先??采用非线性转换的方式实现由数据点至高维数据结构的投影，之后再使用线性的ＣＣＡ??实现共享子空间的学习。ＣＣＡ和ＫＣＣＡ算法都属于无监督学习，而Ｋａｎ等人提出??的多模态判断分析方法为有监督学习方式，该方法利用带有标注的数据去学习获得效??果更优的投影矩阵，从而使差异模态数据间的相关程度进一步增加。??（４）概率依赖方
【参考文献】：
博士论文
[1]多模态数据融合算法研究[D]. 赵亮.大连理工大学 2018
[2]唐寅书画鉴定研究[D]. 车旭东.南京大学 2018
硕士论文
[1]基于深度学习的图像检索技术[D]. 陈宝盈.南京邮电大学 2019
[2]基于深度学习的跨模态图文检索方法研究[D]. 赵天.桂林电子科技大学 2019
[3]基于BERT词向量和Attention-CNN的智能司法研究[D]. 杨彬.大连理工大学 2019
本文编号：3562713
【文章来源】：北京化工大学北京市 211工程院校 教育部直属院校
【文章页数】：94 页
【学位级别】：硕士
【部分图文】：
图１－１区域图的分割与构建??Ｆｉｇ．１－１?Ｓｅｇｍｅｎｔａｔｉｏｎ?ａｎｄ?ｃｏｎｓｔｒｕｃｔｉｏｎ?ｏｆ?ｒｅｇｉｏｎａｌ?ｍａｐ??
务。经典的共训练方法有：基于最佳预测值的Ｃｏ－ＥＭ模型基??于Ｃｏ－ＥＭ的ＳＶＭ模型［９］：协同训练复原模型ＣｏＲＥＧ［ｉｇ］等。??（２）多核学习方法??多核学习方法属于机器学习中的一类，它的核心思想为预先自定义一个或一组核??函数，之后通过学习训练而得到一种基于此种函数的优化方法，该方法可以是线性或??者是非线性，最后利用这种这种优化方法去实现具体任务。每个核函数都是一种针对??原始数据的虚设，它可以被定义为某种相似度概念、某种分类器或某个量化的回归值。??根据文献［１１］，如图１－２，多核学习方法有下面两种方式：１）不一样的核函数对应着各??自的相似度概念，学习函数会选择最有效的核函数计算值或重组所有的核函数计算??值，由于该种方式使用了全部模态的数据以实现所有核的学习，所以并不能被应用至??多模态融合学习；２）因为针对差异模态数据训练了各自的核函数，所以该种方法结??合了全部的核学习成果，即可看为对全部模态数据实现融合。针对多核学习成果的组??合算法可整体划分成以下三种类别：线性、非线性以及数据依赖整合［｜１］。?????Ｋｅｒｎｅｌ?ｗ?Ｕｎｉｆｉｅｄ??ｄａｔａ?欠?Ｋｅｒｎｅｌ?２??‘?Ｉ?？??＼?上＿＿＿?Ｌｅａｒｎｉｎｇ?Ｋｅｒｎｅｌ??＼?……??１??Ｔｌｉｎｅａ：??３．?Ｄａｔａ．Ｄｅｐｅｎｄｅｎｔ??图１－２多核学习方法流程??Ｆｉｇ．１－２?Ｐｒｏｃｅｄｕｒｅｓ?ｏｆ?Ｍｕｌｔｉ－Ｋｅｎｅｒｌ?ｌｅａｒｎｉｎｇ??正因为多核学习方法中不同的核函数对应了不同模态的数据，所以对每个核函数??采取对应的调整与优化便可以有效改善学习结果的性能，并应用至多模态任务之中。?
?第一章绪论???的任务［｜４］。文献［１５］提出了一种基于多核离散表示的归类学习方法，该方法将离散编码??与字典学习的方式一起应用至多核空间中，利用相似核合并以及离散系数计算来获得??核的权重优化，并使用该方法有效的完成了人脸识别任务。??（３）子空间学习方法??如图１－３所示，子空间学习方法是建立在所有模态数据都能够被投射至相同的共??享子空间中，在该同结构共享空间中则能够实现数据的聚类与分类等操作。??？??Ｓｐａｃｅ?１?〇０??ｒ?°［ｘ?Ｓｈａｒｅｄ??＾－７?女一〇?〇＇°ｖ?Ｓｕｂｓｐａｃｅ??阳々?：减Ｓ?｜??ｄａｔａ?：?〇〇ｌ?〇??Ｓｐａｃｅ?ｎ?°?〇??４?？？Ｖ?＊??＾?°?Ａ??图１－３共享子空间学习??Ｆｉｇ．?１－３?Ｓｈａｒｅｄ?ｓｕｂｓｐａｃｅ?ｌｅａｒｎｉｎｇ??起初，Ｈａｒｄｏｏｎ?等人利用典型相关分析（Ｃａｎｏｎｉｃａｌ?Ｃｏｒｒｅｌａｔｉｏｎ?Ａｎａｌｙｓｉｓ，ＣＣＡ）的??策略将差异模态间的数据完成极限程度关联ｎ６］，从而学习出最优的共享子空间，并得??到各个模态所相应的映射矩阵。以此思想为基础，Ｐｅｒｅｉｒａ等人提出ＣＣＡ的负线性??优化策略，即基于核ＣＣＡ?（ＫｅｎｅｒｌＣＣＡ，ＫＣＣＡ）的同享子空间学习方法。此方法先??采用非线性转换的方式实现由数据点至高维数据结构的投影，之后再使用线性的ＣＣＡ??实现共享子空间的学习。ＣＣＡ和ＫＣＣＡ算法都属于无监督学习，而Ｋａｎ等人提出??的多模态判断分析方法为有监督学习方式，该方法利用带有标注的数据去学习获得效??果更优的投影矩阵，从而使差异模态数据间的相关程度进一步增加。??（４）概率依赖方
【参考文献】：
博士论文
[1]多模态数据融合算法研究[D]. 赵亮.大连理工大学 2018
[2]唐寅书画鉴定研究[D]. 车旭东.南京大学 2018
硕士论文
[1]基于深度学习的图像检索技术[D]. 陈宝盈.南京邮电大学 2019
[2]基于深度学习的跨模态图文检索方法研究[D]. 赵天.桂林电子科技大学 2019
[3]基于BERT词向量和Attention-CNN的智能司法研究[D]. 杨彬.大连理工大学 2019
本文编号：3562713
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3562713.html
最近更新
教材专著
