基于深度学习的政府公文智能分类技术研究
发布时间：2021-09-23 16:42
政府公文智能分类技术在提高政务办公效率方面有着极大的的实际应用意义,是政府政务智能化需要突破的重点方向之一。本文的选题来自于政府智能公文项目,首次将以深度学习为主的自然语言处理技术应用到政府公文分类领域中,以提高模型准确率为目标,为实际政府公文智能处理应用系统提供符合应用标准的算法方案。政府公文任务是一个典型的多标签文本分类任务,同时有其自身的语料特点。本文从词向量表示和文本特征提取以及挖掘公文标签之间的相关性三个方向入手,综合提出对标签相关性进行高阶建模的多标签预测模型作为最终的公文多标签分类算法方案。本文主要完成以下工作内容:（1）针对公文数据集领域词汇多,语料库较小等问题提出了两个词向量表示优化方法。首先是基于Word2Vec的词向量融合方法,用大型公共语料库的预训练词向量来扩展公文领域中的词向量,一可以扩展公文域中的词汇量,二在其自己的域中保留上下文语义的同时丰富原始词向量的语义特征信息。第二个是直接抽取应用Bert预训练的词向量来深度挖掘文档字段中的上下文语义信息。两种方法对模型性能均有不错的提升。（2）设计了一种引入标题与正文协同注意力的特征提取结构。政府文件标题结构清晰。...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
多标签数据样本
电子科技大学硕士学位论文10图2-3展示了如何向递归神经网络提供数据流。首先，它拿出输入序列中的值0，然后通过计算得到0，0和1均是下一时间步的输入。类似地，0同样是下一步的2的隐状态输入，以此类推。这样，当前隐状态依赖于上一个时间步的输出来进行计算，它在训练时就能不断地记住上下文。图2-3展开循环神经单元这种类似于链的特性说明，递归神经网络对与时间或其他序列相关的数据建模有独特优势。正由于RNN的这一特性，在它面世以来就在自然语言处理的各个任务中。当然，RNN也有其局限性，随着序列长度的增加，长距离的文本依赖很难往后传递，此时传统神经循环网络无法对历史信息进行有效应用。为了克服传统神经网络中的缺陷，许多变体被研究出来，其中最典型的算法就是长短期记忆网络（Longshort-termMemory）[19]。2.3.1.2LSTM图2-4LSTM内部结构图LSTM在传统RNN的基础上增加了一个状态“c”用以保存长期状态，这个状态被称为单元状态（cellstate），另外使用三个“门”来控制信息的传递，帮助网络学习更多的长期依赖关系，缓解RNN中常见的梯度爆炸和梯度消失的问题。门控单元实际上是一个全连接层，将输入向量映射为0-1区间内的实数值，将输
电子科技大学硕士学位论文10图2-3展示了如何向递归神经网络提供数据流。首先，它拿出输入序列中的值0，然后通过计算得到0，0和1均是下一时间步的输入。类似地，0同样是下一步的2的隐状态输入，以此类推。这样，当前隐状态依赖于上一个时间步的输出来进行计算，它在训练时就能不断地记住上下文。图2-3展开循环神经单元这种类似于链的特性说明，递归神经网络对与时间或其他序列相关的数据建模有独特优势。正由于RNN的这一特性，在它面世以来就在自然语言处理的各个任务中。当然，RNN也有其局限性，随着序列长度的增加，长距离的文本依赖很难往后传递，此时传统神经循环网络无法对历史信息进行有效应用。为了克服传统神经网络中的缺陷，许多变体被研究出来，其中最典型的算法就是长短期记忆网络（Longshort-termMemory）[19]。2.3.1.2LSTM图2-4LSTM内部结构图LSTM在传统RNN的基础上增加了一个状态“c”用以保存长期状态，这个状态被称为单元状态（cellstate），另外使用三个“门”来控制信息的传递，帮助网络学习更多的长期依赖关系，缓解RNN中常见的梯度爆炸和梯度消失的问题。门控单元实际上是一个全连接层，将输入向量映射为0-1区间内的实数值，将输
本文编号：3406059
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
多标签数据样本
电子科技大学硕士学位论文10图2-3展示了如何向递归神经网络提供数据流。首先，它拿出输入序列中的值0，然后通过计算得到0，0和1均是下一时间步的输入。类似地，0同样是下一步的2的隐状态输入，以此类推。这样，当前隐状态依赖于上一个时间步的输出来进行计算，它在训练时就能不断地记住上下文。图2-3展开循环神经单元这种类似于链的特性说明，递归神经网络对与时间或其他序列相关的数据建模有独特优势。正由于RNN的这一特性，在它面世以来就在自然语言处理的各个任务中。当然，RNN也有其局限性，随着序列长度的增加，长距离的文本依赖很难往后传递，此时传统神经循环网络无法对历史信息进行有效应用。为了克服传统神经网络中的缺陷，许多变体被研究出来，其中最典型的算法就是长短期记忆网络（Longshort-termMemory）[19]。2.3.1.2LSTM图2-4LSTM内部结构图LSTM在传统RNN的基础上增加了一个状态“c”用以保存长期状态，这个状态被称为单元状态（cellstate），另外使用三个“门”来控制信息的传递，帮助网络学习更多的长期依赖关系，缓解RNN中常见的梯度爆炸和梯度消失的问题。门控单元实际上是一个全连接层，将输入向量映射为0-1区间内的实数值，将输
电子科技大学硕士学位论文10图2-3展示了如何向递归神经网络提供数据流。首先，它拿出输入序列中的值0，然后通过计算得到0，0和1均是下一时间步的输入。类似地，0同样是下一步的2的隐状态输入，以此类推。这样，当前隐状态依赖于上一个时间步的输出来进行计算，它在训练时就能不断地记住上下文。图2-3展开循环神经单元这种类似于链的特性说明，递归神经网络对与时间或其他序列相关的数据建模有独特优势。正由于RNN的这一特性，在它面世以来就在自然语言处理的各个任务中。当然，RNN也有其局限性，随着序列长度的增加，长距离的文本依赖很难往后传递，此时传统神经循环网络无法对历史信息进行有效应用。为了克服传统神经网络中的缺陷，许多变体被研究出来，其中最典型的算法就是长短期记忆网络（Longshort-termMemory）[19]。2.3.1.2LSTM图2-4LSTM内部结构图LSTM在传统RNN的基础上增加了一个状态“c”用以保存长期状态，这个状态被称为单元状态（cellstate），另外使用三个“门”来控制信息的传递，帮助网络学习更多的长期依赖关系，缓解RNN中常见的梯度爆炸和梯度消失的问题。门控单元实际上是一个全连接层，将输入向量映射为0-1区间内的实数值，将输
本文编号：3406059
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3406059.html
