基于Seq2Seq模型的自定义古诗生成

发布时间：2021-08-11 10:54

　　当前,古诗句生成任务大多基于单一的循环神经网络（RNN）结构,在生成时需事先给定一个起始字,然后以该起始字为基础进行古诗句生成,生成过程的可控性较差,往往达不到预期效果。针对以上问题,将注意力机制引入Seq2Seq模型,通过自建的数据集进行训练,实现了基于关键字的自定义古诗句生成。在生成阶段,首先输入一段描述性内容,并从中提取出关键字。当关键字不足时,使用word2vec进行有效的关键字补全操作。此外,针对古诗体裁难以控制问题,在Seq2Seq模型中的Encoder端增加格式控制符,有效解决了以往模型在生成古诗时,体裁选择的随机性问题。实验表明,所提出的模型较好地达到了预期的生成效果。 

【文章来源】：计算机科学与探索. 2020,14(06)北大核心CSCD

【文章页数】：8 页

【部分图文】：

关键字补全操作

首先计算在t时刻输入Decoder端的隐藏层状态st-1对Encoder每一个隐含层状态hi的权重wt(i)，如式（1）所示。其中，score表示st-1和hi的相似度，使用余弦相似度进行度量，如式（2）所示。

此外，在进行关键字补充时，如果在描述内容中仅提取出一个关键字，则选取与该关键字相关度最高的三个作为补充；如果提取出两个关键字，则随机从与每个关键字相关度最高的前三个中分别选取一个作为另外两个关键字；如果提取三个关键字，则分别计算与每个关键字相似度最高的前三个，取其交集作为第四个关键字，如果交集为空，则随机选取三个关键字中的一个，再随机选取与其相似度最高的前三个中的一个作为第四个关键字，具体过程如图3所示，其中括号里的值表示相似度大小。图3 关键字补全操作

【参考文献】：
期刊论文
[1]一种宋词自动生成的遗传算法及其机器实现[J]. 周昌乐,游维,丁晓君.  软件学报. 2010(03)



本文编号：3336032