面向图文混排数据的多模态信息融合标注系统研究与实现

发布时间：2024-04-12 04:58

　　数字智能网络时代下大量文化数字化资源被汇聚,急需新手段新方法对文化资源进行有效合理的组织与管理。目前文化领域已经积累了大量专业的图文混排数据,即包含图像及其关联文本的数据,其特点是图像文本互关联,对图像的自动标注具有重要意义。本文将研究内容聚焦于文化领域专业的人文艺术书籍,以纹饰图像为研究载体,实现了对图文混排数据的数字图文处理与多模态标注。主要研究内容包括:(1)针对文化大数据对多模态数据的需求,提出了一种基于版面分析的自适应图文分离算法。以文化领域专业的图文混排书籍为数据源,结构化的提取出由图像、标题和描述文本组成的图文信息对,形成多模态数据标本库。(2)提出了一种面向领域词库构建的新词发现算法。算法以文化领域专业书籍文本为数据源,结合多种统计特征对基于信息熵和互信息的新词发现算法进行改进,完成了领域词库的扩展与更新,改善了通用分词工具对文化领域专业词汇切分正确率较低的问题,为后续图像标注算法奠定了基础。(3)基于图文分离算法、新词发现算法和领域词库提出了一种多模态信息融合的图像标注算法。算法采用基于PageRank的多模态信息决策融合的思路对图文两种模态的标注信息进行融合,在一定...

【文章页数】：87 页

【学位级别】：硕士

【部分图文】：

图２－１高斯差分金字塔的构建［６９】??ＤＯＧ算子的公式如下：??＊－

?第二章图文混排数据的多模态标注方法原理???￣?＞＾４＾＾??＝??ｏｃｔａｖｅ）??－，?＾??Ｓｃａｌｅ??ｏｃｔａｖｅ）?＿＿??Ｄｉｆｆｅｒｅｎｃｅ?ｏｆ??Ｇａｕｓｓｉａｎ?Ｇａｕｓｓｉａｎ?（ＤＯＧ）??图２－１高斯差分金字塔的构建［６９】??ＤＯＧ算子的公式如下：....

图２－２极值点检测示意图网??为提高特征点匹配的稳健性和鲁棒性，需要利用极值点的ＤＯＧ泰勒展开式??

?第二章图文混排数据的多模态标注方法原理???￣?＞＾４＾＾??＝??ｏｃｔａｖｅ）??－，?＾??Ｓｃａｌｅ??ｏｃｔａｖｅ）?＿＿??Ｄｉｆｆｅｒｅｎｃｅ?ｏｆ??Ｇａｕｓｓｉａｎ?Ｇａｕｓｓｉａｎ?（ＤＯＧ）??图２－１高斯差分金字塔的构建［６９】??ＤＯＧ算子的公式如下：....

图２－３生成１２８維ＳＩＦＴ特征向量的示意图??

?第二章图文混排数据的多模态标注方法原理???梯度信息。将４ｘ４个子区域上的梯度信息，依照子区域的位置依次排序，最终便??得到了?４ｘ４ｘ８＝１２８维的ＳＴＦＴ特征向量。此时的ＳＩＦＴ特征向量具备尺度不变性??和旋转不变性，最后将这个向量进行归一化处理，以去除光照变化的影响。生成....

图２－４）是根据某个词上下文的几个词，来计算这个词出现??的概率；而Ｓｋｉｐ－Ｇｒａｍ模型（如图２－５）则相反，是根据某个词分别计算它前后??出现的某几个词的各个概率，即通过目标词推测出原始的语句

?第二章图文混排数据的多模态标注方法原理????Ｗｏｒｄ２ｖｅｃ里面有两个比较重要的模型，分别为Ｓｋｉｐ－Ｇｒａｍ模型和ＣＢＯＷ??（Ｃｏｎｔｉｎｕｏｕｓ?Ｂａｇ－ｏｆ－Ｗｏｒｄｓ?Ｍｏｄｅｌ）模型。??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ???１??ｗ（ｔ－２）?、＇....

本文编号：3951700