一种基于语义识别的自动配色方案辅助设计工具

发布时间：2020-03-20 04:53

【摘要】：计算机辅助艺术设计例如计算机绘画、计算机自动上色等是科研人员长期进行探索的问题,因为与人类多样化的表达方式相关,而人类感受与复杂多变,使其成为一个挑战性强而又持续探索的领域。随着人工智能与机器学习最近几年的发展,计算机艺术与设计辅助系统有了新的突破,例如GAN能够自动生产图片,pixel2pixel能够自动依据已有风格进行色彩填充,PaintsChainer能在标注颜色的情况下为二次元图片自动上色等。本文提出了一种基于语义智能理解的自动配色和上色系统。该系统主要解决了目前自动上色系统只能通过标注色彩、有限类型进行色彩填充或依赖已有色彩风格进行迁移的局限,使得系统更加智能,可以直接对人类的语言进行响应。对于设计师而言,本系统可以将文本的描述,即时转化为配色方案对设计线稿进行填充,大大方便了其使用。而配色方案来自于艺术作品,其独特的审美丰富不死板,可以帮助设计师开拓思路,得到更好的色彩方案。本文包含3个创新点:1.设计实现了深度学习模型对艺术品相关的词语进行理解和编码;2.本文使用独创的TRSV模型实现了轻量且高效的句子向量编码,实现了句子的实时语义检索;3.将图片信息与语义层面的隐藏信息进行关联,其图片风格相似性的偏序特性被保持到其语义描述的偏序特性中,据此提取图片色彩以及自动上色。文本解决的难点一共3点:1.语言表征:如何对输入的文字、艺术品的文本信息进行语义理解,获得带有语义信息的编码形式,为了模型的有效性和高效性的平衡,设计实现了新的算法模型并取得了良好的效果2.语义搜索:输入文字的编码信息与艺术品文本的编码信息对比,搜索算法,涉及语义空间相似度、建模编码、高维向量检索等问题;3.艺术品的色彩特征提取需要满足:灵活、准确、概括,以及自动上色需要考虑到色彩连续性、色彩比例、效果图的光影效果,本文设计实现了多种算法,用以实现可以实时批量预览的的自动上色。此算法在室内设计线稿图纸的实际测试中取得了良好的结果。基于设计师的实际使用反馈,达到了目前业界的最好效果。
【图文】：

错误率

是一般的计算机所不能承受的，神经网络虽然有了一些优秀的表现，但是并没有产生突破逡逑性的表现。逡逑２０１２年ＩｍａｇｅＮｅｔ计算机视觉识别比赛中，如图１．１所示，在加拿大蒙特利尔大学担任逡逑教授的Ｇｅｏｆｆｅｒｙ邋Ｈｉｎｔｏｎ带领团队使得ＩｍａｇｅＮｅｔ图像识别的错误率由３０％以上下降到１５％逡逑以下，这在当时引起了轰动。［６］逡逑２０１２年之后，深度学习这一机器学习范式，被用来解决诸多问题。例如此前的ＩｍａｇｅＮｅｔ逡逑计算机视觉比赛，在２０１５年其识别的错误率已经低于人类的平均值［７］。２０１７年１２月２２逡逑＇逦日，腾讯ＤＰＤＡＣＮＬＰ实验室使用深度学习神经网络训练的自然语言理解模型，在机器阅逡逑读理解的比赛上的正确率已经达到８１．７９０％，人类在这项测试中的评价准确率为８２．３０４％。逡逑除计算机视觉和自然语言理解领域，深度学习在决策领域也表现出了惊人的进步，２０１７年逡逑１０月，Ｇｏｏｇｌｅ邋Ｄｅｅｐ邋Ｍｉｎｄ的ＡｌｐｈＧｏ战胜了战胜了围棋世界排名第一的柯洁，这表明深度逡逑学习在复杂决策上也是具有非常大的潜力逡逑１逡逑

效果图,词义,单词

逦？｜逦？ｘｃｃｒｒ邋＊ｒｒｒｒｒｒ邋ｒＫｃｃｒｒ逡逑图１．３设计师使用配色表进行配色逡逑本文希望基于目前的自然语言理解的技术与图像自动化处理的方式，实现从自然语售；逡逑的直接描述到配色方案再到效果图的自动化转化。例如，一个设计师接到了室内软装设计逡逑的需求，甲方的需求是“洋溢着春天的感觉，要很温柔，然后要像有小孩在草坪上奔跑一逡逑样”，本课题要实现的基于语义识别的自动配色系统，只需要将这句话“洋溢着春天的感逡逑觉，要很温柔，然后要像有小孩在草坪上奔跑一样”，输入到系统中，就会自动匹配色彩逡逑方案，，并且可以为直接其线稿进行上色，可以方便的预览，把握整体风格，甚至方便的批逡逑量生成预览图像以备选择，为客户展示和预览节省大量时间。逡逑１．３国内外现状分析逡逑因为本研究课题是机器学习、自然语言处理和图像合成的交叉领域
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.1

【相似文献】