基于深度学习的多条件个性化文本生成

发布时间：2021-04-11 16:02

　　随着近年来深度学习技术的迅猛发展,基于深度学习的文本自动生成受到了广泛关注。将深度神经网络应用于自然语言生成领域,实现了生成文本质量的突破性提升。然而,相较于人类创作的文本,机器生成的文本往往缺少相应的人格特征,现有的基于统计语言模型的自然语言生成系统并未考虑这方面的因素。针对这个问题,本文提出了一种基于用户大五人格的微博文本生成模型,该模型将输入的大五人格五个维度的极性特征向量作为全局上下文,控制长短时记忆网络生成符合相应人格特征的微博文本。同时,为了得到带有大五人格标注的语料,本文训练了一个基于卷积神经网络的文本分类模型,可实现对微博文本大五人格极性的预测。实验结果表明,该生成模型生成的样本在文本质量与人格特质的可区分性等方面的表现均优于未加入人格条件控制的生成模型。此外,针对当前艺术文体生成系统在语言学规律与作品情感方面控制的缺失,本文提出了一种基于语言学规律与情感控制的歌词生成模型。该模型以Sequence to Sequence模型为基础,通过输入模式的改变实现了对生成歌词内容、结构与押韵的控制,并在网络的解码器端加入了卷积神经网络结构,通过对生成文本进行情感分类的误差回传,... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

图２－１神经概率语言糢型网络结构图【｜９］??如上图所示，神经概率语言模型同样基于ｎ－ｌ阶马尔可夫假设，用图中最??下方的ｗｔ＿ｎ＋１，，?ｗｔ＿２，?Ｗｇ，即ｖｖｔ的前ｎ?—?１?

即提取的是词的组合特征，相当于由网络自己提取了?Ｎ－ｇｒａｍ特征，因此非??常适用于自然语言处理领域的部分应用场景。??以Ｙａｎｎ?ＬｅＣｕｎ等人提出的ＬｅＮｅｔ为例，图２－２给出了一个典型的卷积神经??网络结构：??８??

Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ??图２－２卷枳神经网络应用于手写体识别——ＬｅＮｅｔ网络结构图冏??如上图所示，一个典型的卷积神经网络结构，由卷积层（Ｃｏｎｖｏｌｕｔｉｏｎａ丨Ｌａｙｅｒ）、??下米样层（Ｓｕｂｓａｍｐｌｉｎｇ?Ｌａｙｅｒ）、全连接层（Ｆｕｌｌ?Ｃｏｎｎｅｃｔｉｏｎ?Ｌａｙｅｒ）组成。??卷积层的参数由一组可学习的滤波器（Ｆｉｌｔｅｒ）组成。在前馈网络中，每个滤??波器对输入进行卷积，计算滤波器和输入之间的点积，得到该滤波器的激活图，??提取更高层次的特征。该操作是受局部感受野概念的启发，模拟单个神经元对视??觉刺激的响应，每个卷积神经元只处理其接收野的数据。卷积运算减少了自由参??数的数量，解决了与全连接前馈神经网络需要计算大量权重的问题，从而得以用??较少的参数训练更深的网络［２４］。??下采样层，也称池化层，是一种非线性下采样形式。通常下采样层是以每个??邻域中的最大值或平均值作为该邻域的特征

【参考文献】：
硕士论文
[1]现代流行歌词的写作策略[D]. 王帅.湖南师范大学 2015



本文编号：3131554