基于上下文关联的多模态信息融合方法研究

发布时间：2021-06-10 02:39

　　互联网上聚集了海量的图文声像等各种类型的信息资源,它们具有实时的或者非实时的、确定的或者模糊的、互补的或者互斥的不同特征,这些特征要求信息服务系统为用户提供多模态信息以满足用户的信息要求。然而多模态信息的表达方式多样,关系复杂,若孤立对待则可能造成信息资源的浪费,因此有必要对这些信息进行融合,从而为用户提供更为丰富准确的信息。现有的信息融合技术充分利用了多源信息的互补性和增益性,提高了信息处理的质量,但是对于当前互联网环境下的多模态信息集成服务而言,已有的信息融合技术存在一定的局限性：无法有效融合多模态信息中的多态语义；难以实现多模态信息融合中所需的协同性要求。本文借助高层语义的指导性以及多模态信息环境的上下文信息,通过协作学习方法建立多模态联合特征表示与联合空间,实现多模态信息特征层次融合和决策层次融合。文章研究的主要内容如下：第一章是绪论,主要介绍了多模态信息融合的研究背景及意义,信息融合的国内外发展状况和本文的主要研究内容。第二章的研究内容为上下文信息,关联分析,信息融合中关联方法的研究与发展,以及融合进程中上下文信息的使用分析。第三章结合相关文献著作比较分析了多模态信息融合方法... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：44 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 本文的研究内容
2 上下文信息在多模态信息融合中的应用分析
    2.1 上下文信息
    2.2 关联分析
    2.3 融合进程中上下文信息的使用分析
3 多模态信息融合方法研究
    3.1 基于规则的融合方法
        3.1.1 线性加权融合
        3.1.2 多数表决规则
        3.1.3 自定义规则
        3.1.4 小结
    3.2 基于分类的融合方法
        3.2.1 支持向量机
        3.2.2 贝叶斯推理
        3.2.3 D-S证据理论
        3.2.4 动态贝叶斯网络
        3.2.5 神经网络
        3.2.6最大熵模型
        3.2.7 小结
    3.3 基于估算的融合方法
        3.3.1 卡尔曼滤波
        3.3.2 扩展卡尔曼滤波
        3.3.3 粒子滤波
        3.3.4 小结
4 特征层次多模态信息融合方法研究
    4.1 多模态信息特征层融合过程
        4.1.1 多模态信息的特征类型
        4.1.2 多模态信息的特征提取方法
        4.1.3 多模态信息的关联方法
        4.1.4 特征层次多模态信息融合过程
    4.2 多模态信息特征层融合方法及其应用
5 决策层次多模态信息融合方法研究
    5.1 多模态信息决策层融合过程
    5.2 多模态信息决策层融合方法及其应用
6 混合层次多模态信息融合方法研究
    6.1 多模态信息混合层融合过程
    6.2 多模态信息混合层融合方法及其应用
7 总结与展望
    7.1 总结
    7.2 展望
参考文献
在校期间发表的论文
致谢


【参考文献】：
期刊论文
[1]信息融合技术综述[J]. 韩增奇,于俊杰,李宁霞,王朝阳.  情报杂志. 2010(S1)
[2]多传感器信息融合技术及其发展趋势[J]. 王友全.  电脑知识与技术. 2009(34)
[3]基于权系数的数据融合技术在靶场指控系统中的应用研究[J]. 翟红,刘丹.  战术导弹技术. 2008(05)
[4]信息融合方法及应用研究[J]. 程利民,孔力,李新德.  传感器与微系统. 2007(03)
[5]网络安全信息关联分析技术研究与应用[J]. 韩正平,蔡凤娟,许榕生.  计算机应用研究. 2006(10)
[6]信息融合的研究[J]. 刘云生,彭建平.  计算机工程与应用. 2005(03)

博士论文
[1]基于增量改进BP神经网络微波深度干燥模型及应用研究[D]. 李英伟.昆明理工大学 2011
[2]多模态特征融合和变量选择的视频语义理解[D]. 刘亚楠.浙江大学 2010

硕士论文
[1]普适计算环境中上下文信息服务系统研究与实现[D]. 王志刚.太原理工大学 2007



本文编号：3221845