基于深度学习的政府公文摘要生成算法研究

发布时间：2022-01-23 06:08

　　随着智慧城市和电子政务等新兴信息产物得到国家层面的充分重视,国家组成的电子政务领导指挥小组强调各级政府利用创新手段优化公共服务方式和提升政府办公效率。公文处理作为政府机关的主要的政务工作之一,传统的公文处理需要人为通读公文,然后从中提取出重要信息点,最后执行或公文传达。传统的公文处理方式依靠人工公文处理方式,导致政府公文处理过程缓慢且占用较大的政府人力资源。因为不需要每篇公文都仔细阅读,很多公文只需要大致理解主要信息点,就可以进行公文传达。自然语言处理中的文本自动摘要技术通过对指定文档的信息进行压缩和汇总,从而提供一篇短小且信息覆盖全面的摘要。将文本自动摘要技术应用到政府公文中能够有效的缓解政府公文处理中的问题,提升政府办公效率,节约政府人力资源。本文是基于实验室的政府公文智能摘要项目展开的,主要工作是对基于深度学习的文本自动摘要技术在政府公文中的应用算法进行调研,然后通过多种手段的混合使得方案能够达到项目的验收指标,主要分为以下几方面展开:1、改进了基于图排序算法的方法和有监督抽取式摘要生成算法。首先通过对抽取式文本自动摘要算法的调研,在政府公文数据集上分别对基于图排序算法的方法和有... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

NNLM语言模型图[27]

电子科技大学硕士学位论文10量。深度学习的相关思想首次被应用到语言模型领域，通过模型对语言模型的训练，发现取训练完成的神经网络模型的第一层参数作为词向量时，可以表示词语间的相似度。这里可以把NNLM模型划分为三个模块：输入层，利用个词汇的onehot编码与词向量矩阵相乘，从而得到每个词的词向量，将得到的词向量首尾连接起来组成新的词向量，即形成维的向量；隐藏层，将维向量经过线性层转换成维向量；输出层，再把维的向量经过线性层，转换成词典大小维度的向量，利用Softmax函数得到每一个词的概率。2013年Gge提出Wd2Vec[28]方法，并在文献[29]中进一步提出了几种优化策略，包括层级Sfa，负采样和子采样技术。相比于NNLM，Wd2Vec主要做了这样几点改进：模型精简和优化训练。使得Wd2Vec模型更加简单，同时训练速度更快。Wd2Vec包含Ski-ga模型和CBOW模型。图2-2CBOW模型和Ski-ga模型CBOW模型利用中心词汇的上下文词汇来推断中心词汇。模型开始训练前，设置词向量的维度，通过随机方式，对词向量进行初始化设置。输入层输入目标词汇的窗口词汇的编码向量，Oe-h编码向量与初始化的词向量相乘得到上下文词汇的词向量。CBOW没有中间层，这里的隐藏层的实质是词袋模型，将上下文的

电子科技大学硕士学位论文14否属于自动摘要，通过神经网络来学习句子及其标签之间的对应关系。目前比较常见的方法包括R2N2[36]，NeaS[37]，SaRNNe以及BeS[38]。1、R2N2这个模型使用递归神经网络对多文档摘要进行排序，它将句子排序任务划分成为一个层次回归问题，一边分析树种一边计算句子及其组成部分的重要性。作者使用了包含词级、短语级和句子级在内人工定义的14个特征。在模型中使用递归神经网络来建模句子向量与其标签之间的映射关系，在模型前向传播中，其子节点用于递归计算父节点的表示形式。通过递归神经网络来模拟句子内部各元素之间的语义依存关系，使得模型能够更好的学习语义特征，从而对于排序提供更好的支持。模型框架图2-3所示：图2-3R2N2模型图2、NeaS该文章提出了基于句子抽取的模型NN-SE，在之前通常依托人工抽取出的特征来判别某个句子是否最终文摘中的句子。而在这里，研究人员提出了一种以数据为主要驱动的方法，这种方法利用了神经网络以及连续句子的特征。这种方法的中心就是编码器-解码器框架，编码器读取输入语句并将其编码成一个连续向量，然后解码器部分将其解码成目标序列。利用卷积神经网络和最大化池化操作得到句子向量，利用传统的循环神经网络来获取文档的向量化表示。模型如图2-4。首先将输入文章分成句子，将每句话分开送入卷积神经网络，至此可以获得这句话对应的表示。从CNN层获得的向量组合成向量序列输入RNN网络来获取文档的表示，最终通过解码单元解码获得每句话的标记输出。在每个卷积核上都使用了多个Feae-Ma获取特征，将多种特征作为句子表示。相比于R2N2，NeaS采用了卷积神经网络和循环神经网络配合提取句子

【参考文献】：
期刊论文
[1]基于层次结构的生成式自动文摘[J]. 吴仁守,张宜飞,王红玲,张迎.  中文信息学报. 2019(10)



本文编号：3603755