基于Spatial-DCTHash动态参数网络的视觉问答算法

发布时间：2018-05-28 12:49

  本文选题：视觉问答 + 动态参数预测　； 参考：《中国科学:信息科学》2017年08期

【摘要】：随着深度学习和多模态融合的深入研究,问答系统从传统的纯文本方式扩展到结合图片的视觉问答,成为计算机视觉与自然语言理解的交叉研究热点.Hyeonwoo等最新提出的动态参数预测模型(DPPnet)能够简单、有效地实现问句和图片信息的融合.但是该模型在进行网络参数动态Hash分配时位置随机,缺乏图像内容空间分布的考虑.针对此不足,本文提出一种新的空间离散余弦Hash动态参数网络.算法采用全卷积方式提取保留图像内容空间分布信息的conv7特征.在此基础上,利用问题信息生成具有一定空间结构性的卷积核,实现问题与图像信息融合预测视觉答案的过程.在COCOqa和MSCOCO-VQA两个公开数据集上与同期主流算法进行了实验对比,实验结果表明,本文的网络模型较以往的模型能够更为精确地预测视觉问答答案.
[Abstract]:With depth study and multi - modal fusion , the question and answer system is extended from the traditional pure text way to the visual question and answer of the combined picture . The new dynamic parameter prediction model ( DPPnet ) , such as Hyeonwoo , can be used to realize the fusion of the question sentence and the picture information .
【作者单位】： 江西师范大学计算机与信息工程学院;
【基金】：国家自然科学基金(批准号:61365002,61462045,61462042,61662030) 江西省教育厅科技项目(批准号:GJJ150350)资助
【分类号】：TP391.1;TP391.41

【相似文献】

相关期刊论文 前5条

1 邵立兵;Java程序中动态参数的传递[J];中国计算机用户;1997年19期

2 于国防,袁小平;利用ASP实现JAVA动态参数的传递[J];计算机应用;1998年09期

3 邵立兵;Java程序中动态参数的传递[J];微计算机应用;1997年06期

4 刘玉英,刘亚军;KJC—Ⅱ型提升机动态参数微机测试仪[J];煤;1999年02期

5 侯加林,刘海波,丁启胜,王相友,王金星;果树水分动态参数的计算机测量系统[J];农业机械学报;2001年03期

，

本文编号：1946756