当前位置:主页 > 社科论文 > 图书档案论文 >

面向图文混排数据的多模态信息融合标注系统研究与实现

发布时间:2024-04-12 04:58
  数字智能网络时代下大量文化数字化资源被汇聚,急需新手段新方法对文化资源进行有效合理的组织与管理。目前文化领域已经积累了大量专业的图文混排数据,即包含图像及其关联文本的数据,其特点是图像文本互关联,对图像的自动标注具有重要意义。本文将研究内容聚焦于文化领域专业的人文艺术书籍,以纹饰图像为研究载体,实现了对图文混排数据的数字图文处理与多模态标注。主要研究内容包括:(1)针对文化大数据对多模态数据的需求,提出了一种基于版面分析的自适应图文分离算法。以文化领域专业的图文混排书籍为数据源,结构化的提取出由图像、标题和描述文本组成的图文信息对,形成多模态数据标本库。(2)提出了一种面向领域词库构建的新词发现算法。算法以文化领域专业书籍文本为数据源,结合多种统计特征对基于信息熵和互信息的新词发现算法进行改进,完成了领域词库的扩展与更新,改善了通用分词工具对文化领域专业词汇切分正确率较低的问题,为后续图像标注算法奠定了基础。(3)基于图文分离算法、新词发现算法和领域词库提出了一种多模态信息融合的图像标注算法。算法采用基于PageRank的多模态信息决策融合的思路对图文两种模态的标注信息进行融合,在一定...

【文章页数】:87 页

【学位级别】:硕士

【部分图文】:

图2-1高斯差分金字塔的构建[69】??DOG算子的公式如下:??*-

图2-1高斯差分金字塔的构建[69】??DOG算子的公式如下:??*-

?第二章图文混排数据的多模态标注方法原理??? ̄?>^4^^??=??octave)??-,?^??Scale??octave)?__??Difference?of??Gaussian?Gaussian?(DOG)??图2-1高斯差分金字塔的构建[69】??DOG算子的公式如下:....


图2-2极值点检测示意图网??为提高特征点匹配的稳健性和鲁棒性,需要利用极值点的DOG泰勒展开式??

图2-2极值点检测示意图网??为提高特征点匹配的稳健性和鲁棒性,需要利用极值点的DOG泰勒展开式??

?第二章图文混排数据的多模态标注方法原理??? ̄?>^4^^??=??octave)??-,?^??Scale??octave)?__??Difference?of??Gaussian?Gaussian?(DOG)??图2-1高斯差分金字塔的构建[69】??DOG算子的公式如下:....


图2-3生成128維SIFT特征向量的示意图??

图2-3生成128維SIFT特征向量的示意图??

?第二章图文混排数据的多模态标注方法原理???梯度信息。将4x4个子区域上的梯度信息,依照子区域的位置依次排序,最终便??得到了?4x4x8=128维的STFT特征向量。此时的SIFT特征向量具备尺度不变性??和旋转不变性,最后将这个向量进行归一化处理,以去除光照变化的影响。生成....


图2-4)是根据某个词上下文的几个词,来计算这个词出现??的概率;而Skip-Gram模型(如图2-5)则相反,是根据某个词分别计算它前后??出现的某几个词的各个概率,即通过目标词推测出原始的语句

图2-4)是根据某个词上下文的几个词,来计算这个词出现??的概率;而Skip-Gram模型(如图2-5)则相反,是根据某个词分别计算它前后??出现的某几个词的各个概率,即通过目标词推测出原始的语句

?第二章图文混排数据的多模态标注方法原理????Word2vec里面有两个比较重要的模型,分别为Skip-Gram模型和CBOW??(Continuous?Bag-of-Words?Model)模型。??INPUT?PROJECTION?OUTPUT???1??w(t-2)?、'....



本文编号:3951700

资料下载
论文发表

本文链接:https://www.wllwen.com/tushudanganlunwen/3951700.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户0ddd0***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com