基于深度神经网络的文本生成方法研究

发布时间：2020-11-16 03:57

　　 近年来,深度学习的兴起为基于深度神经网络的文本生成方法的发展提供了新的契机。作为文本生成问题中的代表性任务,自动文本摘要和自动文本简化旨在提取出原始文本的核心内容,并生成一段可读性强且易于理解的文本,是应对信息过载、阅读困难等实际问题的高效解决方案。目前主流的神经网络方法多采用基于循环神经网络的编码器-解码器框架,存在原始文本表示欠佳、生成句与原始文本语义相关性不高、生成句子冗余、集外词生成困难等诸多问题。针对这些问题,本文探究了基于深度神经网络的文本生成方法,在自动文本臀谋炯蚧?热挝裆峡?沽搜芯抗ぷ?设计并实现了一种基于改进集束搜索的生成式摘要生成方法和一种基于子词单元的端到端文本简化方法,分别在多个数据集上进行了实验,实验结果表明了模型在任务上的有效性。本文的主要贡献具体包括:(1)设计并实现了一种基于改进集束搜索的生成式摘要方法,其中包括:一种新型混合编码器结构,利用循环神经网络学习输入文本序列中的时序信息和长距离依赖,同时利用卷积神经网络捕获输入序列的上下文信息;两种用于摘要解码的集束搜索算法,即得分函数结合了语言模型和语法形式惩罚策略的语法增强集束搜索算法和引入了一个惩罚因子的多样性集束搜索算法;一种基于关键短语的重排序机制,利用候选句与原始文本中重合关键短语的重要性得分对候选句进行排序。在CNN/Daily Mail等多个数据集上的实验表明了该模型在文本摘要任务上的有效性。(2)设计并实现了一种基于子词单元的端到端文本简化方法,利用字节对编码算法提取子词单元并构建词表,减小词表规模以提升序列到序列模型的效率,利用子词单元关联形态相近的词语,解决罕见词训练及集外词生成问题。将该模型应用到PWKP和WikNet等数据集上,实验结果与词语级方法相对比表明了本模型的有效性。
【学位单位】：中国科学技术大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.1;TP183
【部分图文】：

。??２．３相关研究工作??２．３．１基于神经网络的文本表示??在自动文本摘要中，首先面临的一个问题就是原始文本的表示问题，良好的??文本表示是后续生成高质量的摘要句的基础。文本表示是指将自然语言符号转??换成数学形式，便于计算机能够理解并运算，这种数学形式通常是稠密低维的实??数向量。在自然语言中，词语是句子的基本组成单元，而句子构成了文档，在研??究者们尝试合理表示词向量的同时，也有很多模型被提出用于建模句子和文档，??尤其在近年深度学习大发展的背景下，基于深度神经网络模型的语句表示研宄??工作大量涌现，其优势在于其自动学习特征的表达能力，从而免于繁杂的特征工??程。目前较为主流的语句表示模型主要包括两种，即循环神经网络和卷积神经网??络。本节将对这两种模型进行具体的介绍。??

且所有节点（循环单元）按链式连接的递归神经网络，也就是说，网络中每个循环??单元当前时间步的状态由该时间步的输入和上一个时间步的状态同时决定。如??图２．１所示，循环神经网络是同一结构的多次复制，右侧图案是其展开形式，ｆ时??刻的状态＼不仅依赖于ｒ时刻的输入Ｘ，，还依赖于／－Ｉ时刻的状态Ａｍ，而卜１??时刻的状态又依赖于卜１时刻的输入和卜２时刻的状态，如此递归。时序上的依??赖使循环神经网络在某时刻输出时可以充分考虑历史信息，在理论上能够对任??意长度的序列进行建模，尤其适合文本数据的处理。然而，在经典的循环神经网??络结构中，损失的梯度经过多个时间步的反向传播后容易出现极端的非线性态??势，即梯度消失问题（Ｇｒａｄｉｅｎｔ?Ｖａｎｉｓｈｉｎｇ?Ｐｒｏｂ丨ｅｍ）＿，换言之，当序列的长度比??较大时，迭代后期梯度在反向传递到较早时刻时趋向于零，导致梯度弥散，对模??型参数的更新非常弱。??为了解决经典的循环神经网络在训练过程中存在的上述问题

门限循环单元ＧＲＵ是另外一种应用广泛的循环神经网络变体，相较于长短??记忆单元，ＧＲＵ的优势在于其结构比较简单、易于实现、收敛速度快。标准的??ＧＲＵ单元结构如图２．３所示，其通过重置门（Ｒｅｓｅｔ?Ｇａｔｅ）?ｒ，和更新门（Ｕｐｄａｔｅ?Ｇａｔｅ）??ｚ，来保证模型对较长句子信息的记忆能力。根据ｆ时刻的输入向量ｘ，和ｆ?－?１时??刻的隐状态／２ｍ，ＧＲＵ循环计算单元根据公式（２．６－２．９）计算当前时刻的输出，??ｒ，?＝?ａ（］Ｖｒｘｘ，?＋?Ｗｒｈｈ，＿ｘ?＋?ｂｒ）?（２．６）??ｈ，?＝?＼２．ｎ＼＼（Ｗｘｔ?＋?Ｗ｛ｒｔ?０?＋?ｂｈ）?（２．７）??ｚ＾ｏｉＷ＾?＋?Ｗ＾＋ｂ，）?（２．８）??／ｉ，?＝?（１?－?ｚ，）?Ｏ?ｈｔ＿ｘ?＋?ｚ，Ｑ?ｈ，?（２．９）??其中Ｏ表示将两个向量中对应元素相乘得到新的向量，〇■（？）表示激活函??数
【相似文献】

相关期刊论文 前10条

1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期

2 陈晓燕;;浅析简单神经网络的发展及简单模型[J];数字技术与应用;2019年05期

3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期

4 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期

5 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期

6 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期

7 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期

8 鲍伟强;陈娟;熊涛;;基于进化神经网络的短期电力负荷预测研究[J];电工技术;2019年11期

9 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期

10 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期

相关博士学位论文 前10条

1 陈冬冬;基于深度神经网络的视觉媒体风格转换方法研究[D];中国科学技术大学;2019年

2 韩旭;基于神经网络的文本特征表示关键技术研究[D];北京邮电大学;2019年

3 杨国花;基于级联神经网络的对话状态追踪技术研究与实现[D];北京邮电大学;2019年

4 杨威;基于卷积神经网络的高效语义分割方法研究[D];中国科学院大学(中国科学院光电技术研究所);2019年

5 雷学文;基于深度神经网络的风功率日前预测与电力系统联合调度研究[D];西安理工大学;2018年

6 陈川;忆阻神经网络的同步控制及在信息安全中的应用研究[D];北京邮电大学;2019年

7 姜春晖;深度神经网络剪枝方法研究[D];中国科学技术大学;2019年

8 昌杰;基于深度神经网络的肿瘤图像分析与处理[D];中国科学技术大学;2019年

9 宫磊;可重构平台上面向卷积神经网络的异构多核加速方法研究[D];中国科学技术大学;2019年

10 丁鹏;基于深度卷积神经网络的光学遥感目标检测技术研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2019年

相关硕士学位论文 前10条

1 权峻;太阳能温室建模及智能控制策略研究[D];天津理工大学;2019年

2 钟文雅;基于深度卷积神经网络的乳腺X线图像的分类方法研究[D];南阳师范学院;2019年

3 薛花;基于聚类与神经网络的协同过滤推荐系统关键技术的研究[D];天津理工大学;2019年

4 张璐;基于深度学习的淋巴结自动分割算法研究[D];浙江大学;2019年

5 郭盼盼;基于GA-BP神经网络的多日股票价格预测[D];郑州大学;2019年

6 王旭东;基于光散射的磷矿磨矿粒度分析方法研究[D];武汉工程大学;2018年

7 熊雨点;基于深度学习的表单识别系统的研究与实现[D];武汉工程大学;2018年

8 聂若莹;基于AMDAR数据的对流云附近颠簸区预测方法研究[D];中国民用航空飞行学院;2019年

9 李高玲;基于神经网络的算法作曲与情感识别研究[D];郑州大学;2019年

10 路高飞;基于遗传算法改进BP神经网络的信用风险研究[D];郑州大学;2019年

本文编号：2885591