基于正交元空间的多模态图像增强技术研究

发布时间：2021-11-07 06:08

　　图像增强技术自适应地为普通图像（主要体现为光照、对比度等的不和谐）赋予适当的美学特征,同时保留图像的内容细节。给定普通图像,多数现有工作仅输出唯一的具有统一美学样式的增强图像,该样式来自于给定的参考图像集。然而,不同用户的审美偏好、具体应用场景均可能存在较大差异,这需要图像增强技术具有单一模型多模态处理的能力,给出尽量多样化的输出供用户选择。与此同时,图像内容和样式特征需要充分解耦,并有多模态融合的能力。为了实现图像增强的多模态输出,本文提出了一种基于正交元空间的多模态图像增强框架,提取出参考图像中具有视觉吸引力的美学特征,并将其显式地编码到一个正交的元空间中。具体地,本文首先使用编码-解码器及对抗训练策略提取出高美学质量图像的样式和内容特征。接下来,本文将参考图像的样式编码映射到一个由一组正交基张成的样式元空间中,其中正交基通过引入正交正则化损失来实现。在测试阶段,给定任意一张普通图像,本文由编码器提取其内容特征;同时在样式元空间中随机采样多个样式特征;最后将原图内容编码与样式特征分别融合后,送入解码器得到最终的多模态增强图像。另外,为提高多模态场景下样式、内容特征解耦及融合的稳定性... 

【文章来源】：南开大学天津市 211工程院校 985工程院校 教育部直属院校

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    第一节 研究背景与动机
    第二节 相关工作
    第三节 本文研究内容
第二章 基于正交元空间的多模态图像增强技术
    第一节 单一模型多模态图像增强问题定义
    第二节 样式元空间的构建与学习
    第三节 普通及参考图像的重建
    第四节 使用跨域隐变量进行图像增强
    第五节 本章小结
第三章 基于实例标准化及互信息优化的特征解耦方法
    第一节 基于元空间坐标及样式编码的实例标准化
    第二节 基于互信息最大化的元空间增强
    第三节 本章小结
第四章 实验结果与分析
    第一节 实验配置细节
    第二节 HDR数据集样式多样性分析
    第三节 元空间正交性与可解释性分析
    第四节 消融实验
    第五节 本文方法与现有技术的比较
    第六节 用户调查
    第七节 本章小结
第五章 结论
    第一节 本文工作总结
    第二节 未来工作展望
参考文献
致谢
个人简历


【参考文献】：
期刊论文
[1]协作式生成对抗网络[J]. 张龙,赵杰煜,叶绪伦,董伟.  自动化学报. 2018(05)
[2]生成式对抗网络GAN的研究进展与展望[J]. 王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.  自动化学报. 2017(03)
[3]基于互信息的贝叶斯网络结构学习[J]. 纪厚业,罗倩.  北京信息科技大学学报(自然科学版). 2016(06)



本文编号：3481315