基于混合注意力机制的多模态时序数据错误发现算法
发布时间：2021-01-21 07:38
近年来物联网的发展加速了互联网接入设备数量的提升,这些接入设备每天都会产生大量的多模态时序数据。相对于单模态数据,多模态数据能够描述更加丰富的场景,因此不同模态数据之间存在大量隐藏的关系有待挖掘。错误发现是数据质量控制过程中重要的一环,在数据采集、传输、处理过程中,出于设备原因、系统原因、外部环境原因、人为原因等可能会使数据产生错误。而对于多模态时序数据,当某个模态的数据出现错误时,我们不仅可以通过该模态错误数据出现时间前后的数据进行判断,还可以通过其他模态同一时刻的数据进行判断。因此研究多模态时序数据错误发现算法,可以对多模态时序数据的质量进行检测,评估数据中是否存在错误。本文的研究内容包括多模态时序数据集构建、预处理及初步特征提取研究,基于深度学习的多模态时序数据融合算法,多模态时序数据错误发现模型三个部分。首先,本文提出了多模态时序数据错误添加算法,可以对指定模态指定比例的数据添加指定种类的错误。本文实现了模态间的数据对齐,并提取了不同模态数据的初步特征。其次,本文提出了基于BiLSTM的特征提取方法,进而提出基于混合注意力的多模态特征融合方法,首先对各模态数据的Bi LSTM网...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：87 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景和意义
1.2 国内外研究现状及分析
1.2.1 常见模态时序数据特征提取研究现状及分析
1.2.2 多模态数据融合研究现状及分析
1.2.3 研究现状总结
1.3 本文的主要研究内容
1.4 本文的组织结构
第2章 多模态时序数据初步特征提取
2.1 引言
2.2 原始数据集及数据导入框架
MOSI"> 2.2.1 原始数据集CMUMOSI
2.2.2 CMU-Multimodal Data SDK
2.3 多模态错误发现时序数据集的构建
2.3.1 多模态时序数据错误类型
2.3.2 多模态时序数据错误添加方法
2.4 多模态时序数据预处理
2.4.1 多模态时序数据对齐
2.4.2 多模态时序数据整理
2.5 多模态时序数据初步特征提取
2.5.1 视频数据初步特征提取
2.5.2 音频数据初步特征提取
2.5.3 文本数据初步特征提取
2.6 本章小结
第3章 面向多模态时序数据错误发现的融合方法
3.1 引言
3.2 深度特征提取
3.2.1 长短期记忆网络LSTM
3.2.2 基于BiLSTM的深度特征提取方法
3.3 Tensor-Fusion特征融合方法
3.3.1 Tensor-Fusion特征融合方法介绍
3.3.2 Tensor-Fusion特征融合方法的不足
3.4 基于混合注意力的特征融合方法
3.4.1 模态内注意力机制
3.4.2 多模态特征融合
3.4.3 模态间注意力机制
3.5 本章小结
第4章 多模态时序数据错误发现模型
4.1 引言
4.1.1 多模态时序数据错误发现问题定义
4.2 基于TENSOR-FUSION的多模态时序数据错误发现模型（TFMTED）
4.2.1 模型介绍
4.2.2 存在的问题
4.3 基于混合注意力融合的多模态时序数据错误发现模型（HAMTED）
4.3.1 模型介绍
4.3.2 HAMTED对 TFMTED模型的改进
4.4 实验结果
4.4.1 实验数据及环境
4.4.2 模型评价标准
4.4.3 实验设计及参数设置
4.4.4 实验结果与分析
4.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢
【参考文献】：
期刊论文
[1]基于词频统计的文本关键词提取方法[J]. 罗燕,赵书良,李晓超,韩玉辉,丁亚飞. 计算机应用. 2016(03)
[2]中文文本分类中特征抽取方法的比较研究[J]. 代六玲,黄河燕,陈肇雄. 中文信息学报. 2004(01)
[3]基于概念的文本类别特征提取与文本模糊匹配[J]. 罗三定,陆文彦,王浩,贾维嘉. 计算机工程与应用. 2002(16)
本文编号：2990756
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：87 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景和意义
1.2 国内外研究现状及分析
1.2.1 常见模态时序数据特征提取研究现状及分析
1.2.2 多模态数据融合研究现状及分析
1.2.3 研究现状总结
1.3 本文的主要研究内容
1.4 本文的组织结构
第2章 多模态时序数据初步特征提取
2.1 引言
2.2 原始数据集及数据导入框架
MOSI"> 2.2.1 原始数据集CMUMOSI
2.2.2 CMU-Multimodal Data SDK
2.3 多模态错误发现时序数据集的构建
2.3.1 多模态时序数据错误类型
2.3.2 多模态时序数据错误添加方法
2.4 多模态时序数据预处理
2.4.1 多模态时序数据对齐
2.4.2 多模态时序数据整理
2.5 多模态时序数据初步特征提取
2.5.1 视频数据初步特征提取
2.5.2 音频数据初步特征提取
2.5.3 文本数据初步特征提取
2.6 本章小结
第3章 面向多模态时序数据错误发现的融合方法
3.1 引言
3.2 深度特征提取
3.2.1 长短期记忆网络LSTM
3.2.2 基于BiLSTM的深度特征提取方法
3.3 Tensor-Fusion特征融合方法
3.3.1 Tensor-Fusion特征融合方法介绍
3.3.2 Tensor-Fusion特征融合方法的不足
3.4 基于混合注意力的特征融合方法
3.4.1 模态内注意力机制
3.4.2 多模态特征融合
3.4.3 模态间注意力机制
3.5 本章小结
第4章 多模态时序数据错误发现模型
4.1 引言
4.1.1 多模态时序数据错误发现问题定义
4.2 基于TENSOR-FUSION的多模态时序数据错误发现模型（TFMTED）
4.2.1 模型介绍
4.2.2 存在的问题
4.3 基于混合注意力融合的多模态时序数据错误发现模型（HAMTED）
4.3.1 模型介绍
4.3.2 HAMTED对 TFMTED模型的改进
4.4 实验结果
4.4.1 实验数据及环境
4.4.2 模型评价标准
4.4.3 实验设计及参数设置
4.4.4 实验结果与分析
4.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢
【参考文献】：
期刊论文
[1]基于词频统计的文本关键词提取方法[J]. 罗燕,赵书良,李晓超,韩玉辉,丁亚飞. 计算机应用. 2016(03)
[2]中文文本分类中特征抽取方法的比较研究[J]. 代六玲,黄河燕,陈肇雄. 中文信息学报. 2004(01)
[3]基于概念的文本类别特征提取与文本模糊匹配[J]. 罗三定,陆文彦,王浩,贾维嘉. 计算机工程与应用. 2002(16)
本文编号：2990756
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2990756.html
