面向手绘草图的语义理解研究
发布时间：2023-02-22 16:05
作为一种常见的表达方式,手绘草图在人类生活中发挥着十分重要的作用,可以方便地用于描绘物体、勾勒故事情节、设计建筑等。手绘草图所具有的抽象表现力和灵活性使其能够很好地与图像检索、场景生成等实际应用相结合,导致对于手绘草图的处理和理解的实际需求日益增加。但是,当前图像理解领域的工作主要针对的是真实图像数据,而面向手绘草图的研究相对较少。相比于真实图像,手绘草图仅包含若干简要线条,没有颜色和纹理等信息,且数据十分匮乏。此外,由于人类个体绘画技巧等主观因素的影响,手绘草图在形象程度、外观和细节等方面都表现出了非常大的差异,这使得面向手绘草图的语义理解成为一个极具挑战性的任务。如何将计算机自动化技术与手绘草图结合起来,实现对手绘草图数据的深层理解和高效挖掘,以提高创作者或设计人员的工作效率,满足用户多样化的应用需求,是一个非常有价值和具有挑战性的研究课题。手绘草图的语义理解研究主要面临着两方面的挑战:一是底层特征与高层语义及真实图像和手绘草图之间存在的语义鸿沟,二是手绘草图数据匮乏及类内差异过大。此外,现有方法还未充分考虑手绘草图的表达能力与视频语义理解的关联性。针对手绘草图语义理解中存在的上述...
【文章页数】：137 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 手绘草图语义理解的研究背景及意义
1.1.1 研究背景
1.1.2 研究意义
1.2 手绘草图语义理解的研究现状与分析
1.2.1 手绘草图的识别与分割
1.2.2 基于手绘草图的检索
1.2.3 真实图像与手绘草图的相互转换
1.2.4 具有代表性的手绘草图数据集
1.3 现有方法存在的主要问题及可能的解决方案
1.4 本文的主要研究内容与组织结构
1.4.1 本文的研究内容
1.4.2 本文的组织结构
第2章 面向手绘草图的有判别力图像块挖掘
2.1 引言
2.2 相关工作
2.3 手绘草图中有判别力图像块的挖掘
2.3.1 图像块采样及特征表示
2.3.2 有判别力图像块的自动挖掘
2.4 实验结果与分析
2.4.1 手绘草图中有判别力的图像块
2.4.2 代表性手绘草图的比较
2.4.3 手绘草图的识别
2.4.4 讨论与分析
2.5 本章小结
第3章 基于CNN的手绘草图部件级语义解析
3.1 引言
3.2 相关工作
3.2.1 真实图像的语义解析
3.2.2 手绘草图的语义解析
3.2.3 域适应的方法
3.3 基于深度学习的部件级草图解析
3.3.1 基于同质转换的跨域自适应方法
3.3.2 基于软加权的交叉熵损失函数
3.3.3 类间信息共享的阶段学习策略
3.4 实验结果与分析
3.4.1 数据集及实验设置
3.4.2 实验结果与讨论
3.4.3 与现有方法的比较
3.4.4 针对SBIR的进一步应用
3.4.5 定性结果及分析
3.5 本章小结
第4章 融合Bezier形变和均线重构的数据增强学习法及手绘草图识别
4.1 引言
4.2 相关工作
4.2.1 手绘草图的识别
4.2.2 数据增强方法
4.3 基于手绘草图特定数据增强的学习方法
4.3.1 基于Bezier控制点草图形变的建模方法
4.3.2 针对类内差异的均线重构方法
4.4 实验结果与分析
4.4.1 数据集及实验设置
4.4.2 消融研究
4.4.3 与现有方法的比较
4.4.4 在Sketchy-R数据集上的分类结果
4.4.5 针对SBIR的进一步应用
4.4.6 定性结果
4.4.7 讨论
4.5 本章小结
第5章 动作草图时空表达法及动作类视频语义匹配
5.1 引言
5.2 相关工作
5.3 基于动作草图时空表达法的人类动作识别
5.3.1 动作的草图化
5.3.2 有判别力动作草图的挖掘
5.3.3 基于草图池化的动作表示
5.4 实验结果与分析
5.4.1 数据集
5.4.2 实验设置
5.4.3 有判别力的动作草图的实验结果
5.4.4 不同池化方法的比较
5.4.5 动作识别的结果
5.4.6 时间开销
5.5 本章小结
结论
参考文献
攻读博士学位期间发表的论文及其他成果
致谢
个人简历
本文编号：3747964
【文章页数】：137 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 手绘草图语义理解的研究背景及意义
1.1.1 研究背景
1.1.2 研究意义
1.2 手绘草图语义理解的研究现状与分析
1.2.1 手绘草图的识别与分割
1.2.2 基于手绘草图的检索
1.2.3 真实图像与手绘草图的相互转换
1.2.4 具有代表性的手绘草图数据集
1.3 现有方法存在的主要问题及可能的解决方案
1.4 本文的主要研究内容与组织结构
1.4.1 本文的研究内容
1.4.2 本文的组织结构
第2章 面向手绘草图的有判别力图像块挖掘
2.1 引言
2.2 相关工作
2.3 手绘草图中有判别力图像块的挖掘
2.3.1 图像块采样及特征表示
2.3.2 有判别力图像块的自动挖掘
2.4 实验结果与分析
2.4.1 手绘草图中有判别力的图像块
2.4.2 代表性手绘草图的比较
2.4.3 手绘草图的识别
2.4.4 讨论与分析
2.5 本章小结
第3章 基于CNN的手绘草图部件级语义解析
3.1 引言
3.2 相关工作
3.2.1 真实图像的语义解析
3.2.2 手绘草图的语义解析
3.2.3 域适应的方法
3.3 基于深度学习的部件级草图解析
3.3.1 基于同质转换的跨域自适应方法
3.3.2 基于软加权的交叉熵损失函数
3.3.3 类间信息共享的阶段学习策略
3.4 实验结果与分析
3.4.1 数据集及实验设置
3.4.2 实验结果与讨论
3.4.3 与现有方法的比较
3.4.4 针对SBIR的进一步应用
3.4.5 定性结果及分析
3.5 本章小结
第4章 融合Bezier形变和均线重构的数据增强学习法及手绘草图识别
4.1 引言
4.2 相关工作
4.2.1 手绘草图的识别
4.2.2 数据增强方法
4.3 基于手绘草图特定数据增强的学习方法
4.3.1 基于Bezier控制点草图形变的建模方法
4.3.2 针对类内差异的均线重构方法
4.4 实验结果与分析
4.4.1 数据集及实验设置
4.4.2 消融研究
4.4.3 与现有方法的比较
4.4.4 在Sketchy-R数据集上的分类结果
4.4.5 针对SBIR的进一步应用
4.4.6 定性结果
4.4.7 讨论
4.5 本章小结
第5章 动作草图时空表达法及动作类视频语义匹配
5.1 引言
5.2 相关工作
5.3 基于动作草图时空表达法的人类动作识别
5.3.1 动作的草图化
5.3.2 有判别力动作草图的挖掘
5.3.3 基于草图池化的动作表示
5.4 实验结果与分析
5.4.1 数据集
5.4.2 实验设置
5.4.3 有判别力的动作草图的实验结果
5.4.4 不同池化方法的比较
5.4.5 动作识别的结果
5.4.6 时间开销
5.5 本章小结
结论
参考文献
攻读博士学位期间发表的论文及其他成果
致谢
个人简历
本文编号：3747964
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3747964.html
最近更新
教材专著
