深度神经网络在基于图片生成中国古诗问题中的研究与应用
发布时间：2020-07-17 07:11
【摘要】：古诗,作为中国文学的结晶,始终是中华文化中非常重要的一部分。在中国几千年的历史中,诗人创作了上百万首古诗来赞叹美景、歌颂爱国、赞美爱情及表达各种情感。中国古诗具有精炼的结构、优美的韵律,并且蕴含了丰富的情感,直到今天仍会让我们感到着迷。近几年来,随着神经网络和自然语言处理领域的快速发展,利用机器学习技术自动生成中国古诗来得到了广泛的关注。现有的工作主要集中在利用关键词来生成中国古诗,但由于文字本身的表达能力有限,少量关键词通常无法完全表达用户写作意图,相比于关键词,图片中丰富的语义和视觉信息表达能力更强,更适合用于表达用户写作意图,因此基于图片生成中国古诗是一个非常值得研究的问题。基于图片生成中国古诗是一个比基于关键词生成古诗更有挑战性的问题,因为图片中丰富的视觉信息无法用少量关键词完全描述,同时一首好的古诗应该能够十分准确地描述图片中的内容。因此本文设计了一种基于记忆的深度神经网络来自动基于图片生成中国古诗,这种模型可以很有效地挖掘图片中的视觉信息及语义信息。就我们所知,这是第一个探索基于图片自动生成中国古诗的模型。我们对模型生成的古诗进行了人为打分评价以及自动定量评价,实验结果表明我们提出的模型能够生成能准确描述图片内容的中国古诗。本文的主要贡献有:(1)探索了基于图片生成中国古诗这个新的科研课题。(2)利用记忆网络解决现有工作中主题漂移的问题,以及只能输入少量关键词的问题。(3)在生成古诗过程中,有效结合了图片中的语义信息和视觉信息。
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP183;I207.22
【图文】：
后用ＲＧＭ逐字生成第ｚ行古诗，在生成每个字？＾时，ＲＧＭ利用已经生成的逡逑｛叫，．．．，％＿0以及第ｊ个位置的环境变量Ｗ作为输人。ＲＮＮＰＧ通过优化古诗逡逑真实分布及生成古诗的概率分布之间的交叉熵来获得最后的模型。图２．５展示了逡逑两首＿ＰＧ自动生成的古诗样例。逡逑白鹭窥水立，满怀风月一枝春，逡逑青山照水开。未见梅花易可人。逡逑夜来风不动，不为东风无此客，逡逑明月见楼台。｜世间何处是前身。逡逑图２．５邋ＲＮＮＰＧ生成的中国占诗样例逡逑相较于传统方法，ＲＮＮＰＧ利用深度神经网络自动从数据中学习如何生成古逡逑诗，摆脱了对人工设计模板及规则的依赖，更加灵活，能生成更自然的古诗。但逡逑其缺陷在于第一句诗是通过模板生成的，会使得对于相似的用户写作意图，第一逡逑句的变化不大。而且ＲＮＮＰＧ只在生成第一句诗时考虑用户的写作意图，另外三逡逑句仅通过前文生成，与用户写作意图无关，存在主题漂移的问题。逡逑２．２．２．基于注意力机制的宋词生成器逡逑Ｗａｎｇ等人提出了基于注意力机制的宋词生成器（Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ邋Ｓｏｎｇ邋Ｉａｍｂｉｃｓ逡逑Ｇｅｎｅｒａｔｉｏｎ
会长距离依赖（Ｌｏｎｇ邋Ｔｅｒｍ邋Ｄｅｐｅｎｄｅｎｃｙ）。编码－解码器、注意力机制以及ＬＳＴＭ的逡逑细节将在第三章中详细叙述。逡逑如图２．６所示，在ＡＳＩＧ中，用户输入代表自己写作意图的第一句宋词，然逡逑后用双向长短记忆网络（Ｂｉｄｉｒｅｃｔｉｏｎａｌ邋Ｌｏｎｇ邋Ｓｈｏｒｔ－Ｔｅｒｍ邋Ｍｅｍｏｒｙ，邋Ｂｉ－ＬＳＴＭ）将用户逡逑输入编码成若干隐藏语义表示向量作为解码器的逡逑环境向量，每个向量＼对应了用户输入中相应位置的一个字，然后用ＬＳＴＭ解逡逑码器逐字解码剩下的内容｛ｙｉ，ｙ２，．．．｝。比较特别的是，在解码每个字沾时，环境逡逑向量不是固定不变的，而是用注意力机制根据用户输入中每个字对３前字讲的逡逑重要性计算动态环境向量（Ｄｙｎａｍｉｃ邋Ｃｏｎｔｅｘｔ邋Ｖｅｃｔｏｒ）：其计算过程为，逡逑ｃｔ邋＝邋ａｋｉ＾＾逡逑ｊ－１逡逑ｅｘｐ⑷逦（２．１）逡逑Ｊ邋ＥＬ邋＾ｐ（＾）邋１逡逑ｅｔｋ邋＝邋ｖｊ邋ｔａｎｈ（ｌ＾ａ５ｉ＿ｉ邋＋邋Ｕａｈｊ），逡逑１１逡逑
环单元（Ｇａｔｅｄ邋Ｒｅｃｕｒｒｅｎｔ邋Ｕｎｉｔ，邋ＧＲＵ）％，邋ＧＲＵ与ＬＳＴＭ有相似的作用，都能解决逡逑梯度消失及长距离依赖问题，但ＧＲＵ结构更简单。ＧＲＵ的相关细节将在第三章逡逑中详细描述。图２．９展示了两首ＰＰＧ生成的中国古诗样例。逡逑ＰＰＧ通过主题规划以及给每句诗分配一个子主题的方式，解决了之前工作逡逑中存在的主题漂移问题，但同时也带来了一个问题，模型只能容纳四个关键词以逡逑及需要非常好的排序，然而四个关键词通常并不能完全表达用户的写作意图。逡逑啤酒逦冰心逡逑今宵啤酒两三缸，一片冰心向明月，逡逑杯底香醇哶５白光。千山春水共潮生。逡逑清爽金风凉透骨，繁星闪烁天涯路，逡逑醉看明月挂西窗，｜往事萦怀梦里行。逡逑阌２．９邋ＰＰＧ生成的中闺古诗样例逡逑２．２．４．记忆增强的自动生成古诗模型逡逑考虑到人类在漫长的学习过程中会积累很多知识，比如辞藻、修辞、艺术技巧逡逑等
本文编号：2759141
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP183;I207.22
【图文】：
后用ＲＧＭ逐字生成第ｚ行古诗，在生成每个字？＾时，ＲＧＭ利用已经生成的逡逑｛叫，．．．，％＿0以及第ｊ个位置的环境变量Ｗ作为输人。ＲＮＮＰＧ通过优化古诗逡逑真实分布及生成古诗的概率分布之间的交叉熵来获得最后的模型。图２．５展示了逡逑两首＿ＰＧ自动生成的古诗样例。逡逑白鹭窥水立，满怀风月一枝春，逡逑青山照水开。未见梅花易可人。逡逑夜来风不动，不为东风无此客，逡逑明月见楼台。｜世间何处是前身。逡逑图２．５邋ＲＮＮＰＧ生成的中国占诗样例逡逑相较于传统方法，ＲＮＮＰＧ利用深度神经网络自动从数据中学习如何生成古逡逑诗，摆脱了对人工设计模板及规则的依赖，更加灵活，能生成更自然的古诗。但逡逑其缺陷在于第一句诗是通过模板生成的，会使得对于相似的用户写作意图，第一逡逑句的变化不大。而且ＲＮＮＰＧ只在生成第一句诗时考虑用户的写作意图，另外三逡逑句仅通过前文生成，与用户写作意图无关，存在主题漂移的问题。逡逑２．２．２．基于注意力机制的宋词生成器逡逑Ｗａｎｇ等人提出了基于注意力机制的宋词生成器（Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ邋Ｓｏｎｇ邋Ｉａｍｂｉｃｓ逡逑Ｇｅｎｅｒａｔｉｏｎ
会长距离依赖（Ｌｏｎｇ邋Ｔｅｒｍ邋Ｄｅｐｅｎｄｅｎｃｙ）。编码－解码器、注意力机制以及ＬＳＴＭ的逡逑细节将在第三章中详细叙述。逡逑如图２．６所示，在ＡＳＩＧ中，用户输入代表自己写作意图的第一句宋词，然逡逑后用双向长短记忆网络（Ｂｉｄｉｒｅｃｔｉｏｎａｌ邋Ｌｏｎｇ邋Ｓｈｏｒｔ－Ｔｅｒｍ邋Ｍｅｍｏｒｙ，邋Ｂｉ－ＬＳＴＭ）将用户逡逑输入编码成若干隐藏语义表示向量作为解码器的逡逑环境向量，每个向量＼对应了用户输入中相应位置的一个字，然后用ＬＳＴＭ解逡逑码器逐字解码剩下的内容｛ｙｉ，ｙ２，．．．｝。比较特别的是，在解码每个字沾时，环境逡逑向量不是固定不变的，而是用注意力机制根据用户输入中每个字对３前字讲的逡逑重要性计算动态环境向量（Ｄｙｎａｍｉｃ邋Ｃｏｎｔｅｘｔ邋Ｖｅｃｔｏｒ）：其计算过程为，逡逑ｃｔ邋＝邋ａｋｉ＾＾逡逑ｊ－１逡逑ｅｘｐ⑷逦（２．１）逡逑Ｊ邋ＥＬ邋＾ｐ（＾）邋１逡逑ｅｔｋ邋＝邋ｖｊ邋ｔａｎｈ（ｌ＾ａ５ｉ＿ｉ邋＋邋Ｕａｈｊ），逡逑１１逡逑
环单元（Ｇａｔｅｄ邋Ｒｅｃｕｒｒｅｎｔ邋Ｕｎｉｔ，邋ＧＲＵ）％，邋ＧＲＵ与ＬＳＴＭ有相似的作用，都能解决逡逑梯度消失及长距离依赖问题，但ＧＲＵ结构更简单。ＧＲＵ的相关细节将在第三章逡逑中详细描述。图２．９展示了两首ＰＰＧ生成的中国古诗样例。逡逑ＰＰＧ通过主题规划以及给每句诗分配一个子主题的方式，解决了之前工作逡逑中存在的主题漂移问题，但同时也带来了一个问题，模型只能容纳四个关键词以逡逑及需要非常好的排序，然而四个关键词通常并不能完全表达用户的写作意图。逡逑啤酒逦冰心逡逑今宵啤酒两三缸，一片冰心向明月，逡逑杯底香醇哶５白光。千山春水共潮生。逡逑清爽金风凉透骨，繁星闪烁天涯路，逡逑醉看明月挂西窗，｜往事萦怀梦里行。逡逑阌２．９邋ＰＰＧ生成的中闺古诗样例逡逑２．２．４．记忆增强的自动生成古诗模型逡逑考虑到人类在漫长的学习过程中会积累很多知识，比如辞藻、修辞、艺术技巧逡逑等
【参考文献】
相关期刊论文 前1条
1 周昌乐;游维;丁晓君;;一种宋词自动生成的遗传算法及其机器实现[J];软件学报;2010年03期
本文编号：2759141
本文链接：https://www.wllwen.com/gudaiwenxuelunwen/2759141.html
