基于复杂关系建模的短视频表示学习技术研究
发布时间：2021-03-17 20:03
短视频作为一种新兴社交媒介,具有时长短,入门简单,易于分享等特点,更加满足当前网络社交的需求。使其在十年之内得到了快速发展,经历萌芽期,成长期,如今已进入爆发期。然而,伴随着用户数,短视频库存量,以及市场规模的快速增长,如何管理和组织好海量的短视频是当前短视频行业发展所面临的一个巨大的挑战。本学位论文旨在通过使用机器学习技术进行自动化的短视频表示学习,促进海量短视频的自动化、智能化地组织和管理,解决实际应用中存在的关键问题。同时,该研究成果也可以被推广至其他相关科学领域,如传统长视频的理解,多媒体内容推荐,社交网络分析等,一定程度上解决相关理论研究中存在的科学问题。虽然国内外学者对于短视频表示学习的研究已经取得一系列优秀成果,但是这些工作都未充分考虑短视频的自身特点,孤立的考虑内容信息对于表示学习的影响,忽略了其中所涉及的复杂关系。因此,本课题从短视频自身特点出发,探索短视频表示学习过程中存在的复杂关系,并对其进行建模以优化短视频表示学习。因此,本学位论文以短视频表示学习过程中存在的复杂关系为主要研究对象,并结合实际应用进行深入挖掘与分析,将短视频应用中存在的复杂关系由内及外归纳为三个...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：121 页
【学位级别】：博士
【部分图文】：
图１－１短视频特点及其发展历史??
１??模的短Ｍ表小学习＾＾频共现关系趣Ｉ??基于复杂关系建模＿?１???＾——????????????＿——＿?＿?＿１??的短视频表示学习???－－－－－－－－，??４?“ＩＳＳＳ?—?酽个”??赚木学ｄ?！；签人？系狐?化推＃??，一一?一一一一?一?一一一?一?—?）??￥Ｈ．混合关系让设的视频－ｗ户ｍ（同投１??Ｉ????????????Ｉ??图１－３木学位论文研究Ｓ标及研宂内容??上限制了短视频表示向量的表达能力。具体地，对于短视频不同模态间的关系，??现有的方法仅仅考虑不同模态之间存在的一致性部分，而对于存在的其他关系??鲜有涉猎；对短视频间存在的相互关联，尚没有工作进行探索；除此之外，作??为短视频重要组成部分的社交信息也远远没有得到充分研宂；进而，对于多种??不同关系同时＃在的混合关系更是Ａ前方法所没行探索的屯要研宄内容。ｗ此，??本论文结合短视频特点提出猫ｒｓ杂关系建模的短视频表示学习技术研究是非??常有必要的。??１．３研究目标、研究内容及主要创新点??１．３．１研究＠标??本论文旨在研究短视频应用中存在的复杂关系对于短视频表示学习的作用，??针对＋同关系的特点进行建模并将其融入短视频表示中，以加强表示向量的表??达能力。除此之外，本论文将理论方法与具体任务相结合以验证本论文所提出??方法的有效性，具体目标如图１－３，具体研究目标如下：??１．研究并实现一种关系敏感的神经协同学习模型，该方法可以自动的发现、建??模不同模态信息间的一致性关系以及互补性关系，并利用这
视频??中音频质量低的问题，并利用不同模态间的一致性关系进行多模态的融合，最??终获得更好的实验结果。综合以上方法不难发现，各学者通过引入共空间并将??异构数据投影到该空间中以期获得多模态信息的融合表示。然而，在投影过程??中，不可避免地造成单一模态所特有信息的损失，这很大程度上影响了短视频??的表达学习。??ＭＭ－?－Ｈ＆ｉＪｉｌ??Ａｉｇｉｒｌｊｆｅｅｄｓ?ｔｈｅ?ｃｕｔｅｊｄｏｇｊｗｉｔｈ?ａ?ｇｉａｎｔｐｏｌｌｉｐｏｑｊｏｎ?ｔｈｅ［ｃａｍｐｕ４??了?争???｜??图２－１视觉模态与文本模态之间的关系示意图??进一步分析可知，现有的方法在多模态融合中仅考虑了不同模态间存在的共??同部分，即一致信息，而忽略了构成多模态间复杂关系的其他部分。事实上，多??模态之间的关系不仅是一致性关系，它是更复杂的，例如，互补性关系是存在??于不同模态间的另一种与一致性关系同样重要的关系类型。在本章的研宄内容??中，将进一步阐明由一致性和互补性关系组成的协同关系。本章中将一致性部??分定义为以不同形式存在于多个模态中的相同信息，如图２－１所示，视觉模态中??红色的糖以及文本模态中的单词“ｌｏｌｌｉｐｏｐ”可以被认为是属于一致性信息。相??反地，互补信息表示为仅以一种形式出现的排他性信息。例如，图２－１文本模态??中的“ｇｉｒｌ”和视觉模态中的草地，很难找到他们在其他模态中的对应信息。因??＂１２??
【参考文献】：
期刊论文
[1]联合场景和行为特征的短视频行为识别[J]. 董旭,谭励,周丽娜,宋艳艳. 计算机科学与探索. 2020(10)
硕士论文
[1]融合视觉和文本的短标注视频情感分析研究[D]. 万俊伟.南京邮电大学 2019
[2]基于深度学习的分类预测算法研究及实现[D]. 高旭旭.北京邮电大学 2019
[3]融合社交关系的人像短视频推荐系统的研究与实现[D]. 邬桐.辽宁大学 2019
[4]面向短视频的自然语言生成描述方法[D]. 艾江波.电子科技大学 2019
[5]基于内容的短视频拷贝检测系统的设计与实现[D]. 李东浩.北京交通大学 2018
本文编号：3087640
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：121 页
【学位级别】：博士
【部分图文】：
图１－１短视频特点及其发展历史??
１??模的短Ｍ表小学习＾＾频共现关系趣Ｉ??基于复杂关系建模＿?１???＾——????????????＿——＿?＿?＿１??的短视频表示学习???－－－－－－－－，??４?“ＩＳＳＳ?—?酽个”??赚木学ｄ?！；签人？系狐?化推＃??，一一?一一一一?一?一一一?一?—?）??￥Ｈ．混合关系让设的视频－ｗ户ｍ（同投１??Ｉ????????????Ｉ??图１－３木学位论文研究Ｓ标及研宂内容??上限制了短视频表示向量的表达能力。具体地，对于短视频不同模态间的关系，??现有的方法仅仅考虑不同模态之间存在的一致性部分，而对于存在的其他关系??鲜有涉猎；对短视频间存在的相互关联，尚没有工作进行探索；除此之外，作??为短视频重要组成部分的社交信息也远远没有得到充分研宂；进而，对于多种??不同关系同时＃在的混合关系更是Ａ前方法所没行探索的屯要研宄内容。ｗ此，??本论文结合短视频特点提出猫ｒｓ杂关系建模的短视频表示学习技术研究是非??常有必要的。??１．３研究目标、研究内容及主要创新点??１．３．１研究＠标??本论文旨在研究短视频应用中存在的复杂关系对于短视频表示学习的作用，??针对＋同关系的特点进行建模并将其融入短视频表示中，以加强表示向量的表??达能力。除此之外，本论文将理论方法与具体任务相结合以验证本论文所提出??方法的有效性，具体目标如图１－３，具体研究目标如下：??１．研究并实现一种关系敏感的神经协同学习模型，该方法可以自动的发现、建??模不同模态信息间的一致性关系以及互补性关系，并利用这
视频??中音频质量低的问题，并利用不同模态间的一致性关系进行多模态的融合，最??终获得更好的实验结果。综合以上方法不难发现，各学者通过引入共空间并将??异构数据投影到该空间中以期获得多模态信息的融合表示。然而，在投影过程??中，不可避免地造成单一模态所特有信息的损失，这很大程度上影响了短视频??的表达学习。??ＭＭ－?－Ｈ＆ｉＪｉｌ??Ａｉｇｉｒｌｊｆｅｅｄｓ?ｔｈｅ?ｃｕｔｅｊｄｏｇｊｗｉｔｈ?ａ?ｇｉａｎｔｐｏｌｌｉｐｏｑｊｏｎ?ｔｈｅ［ｃａｍｐｕ４??了?争???｜??图２－１视觉模态与文本模态之间的关系示意图??进一步分析可知，现有的方法在多模态融合中仅考虑了不同模态间存在的共??同部分，即一致信息，而忽略了构成多模态间复杂关系的其他部分。事实上，多??模态之间的关系不仅是一致性关系，它是更复杂的，例如，互补性关系是存在??于不同模态间的另一种与一致性关系同样重要的关系类型。在本章的研宄内容??中，将进一步阐明由一致性和互补性关系组成的协同关系。本章中将一致性部??分定义为以不同形式存在于多个模态中的相同信息，如图２－１所示，视觉模态中??红色的糖以及文本模态中的单词“ｌｏｌｌｉｐｏｐ”可以被认为是属于一致性信息。相??反地，互补信息表示为仅以一种形式出现的排他性信息。例如，图２－１文本模态??中的“ｇｉｒｌ”和视觉模态中的草地，很难找到他们在其他模态中的对应信息。因??＂１２??
【参考文献】：
期刊论文
[1]联合场景和行为特征的短视频行为识别[J]. 董旭,谭励,周丽娜,宋艳艳. 计算机科学与探索. 2020(10)
硕士论文
[1]融合视觉和文本的短标注视频情感分析研究[D]. 万俊伟.南京邮电大学 2019
[2]基于深度学习的分类预测算法研究及实现[D]. 高旭旭.北京邮电大学 2019
[3]融合社交关系的人像短视频推荐系统的研究与实现[D]. 邬桐.辽宁大学 2019
[4]面向短视频的自然语言生成描述方法[D]. 艾江波.电子科技大学 2019
[5]基于内容的短视频拷贝检测系统的设计与实现[D]. 李东浩.北京交通大学 2018
本文编号：3087640
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3087640.html
