基于循环神经网络的文本简化

发布时间：2020-05-26 12:46

【摘要】：随着互联网的高速发展,各种互联网信息如语音信息,图片信息,文本信息等也在爆发式的增长,我们每天都能接触到大量的多样的信息,比如来自新闻报导,博客,微博等各个渠道的文本信息。那么如何让对这些海量的信息进行快速、高效地分析和处理,让机器准确理解这些信息,经研究发现,基于高语义保持度的文本简化就是一个可行的方法。在短文本语义简化的研究中采用了以下几种方式和方法,一种是基于传统的循环神经网络方法;一种是基于长短时记忆模型的方法;还有一种是基于时间递归序列模型的方法。主要研究工作如下:1.研究了传统循环神经网络工作原理,及其训练模型和效率,文本简化在循环神经网络中的应用,参考了相关文献以及对比了相关研究中的优劣势。2.分别建立传统循环神经网络模型、LSTM(Long Short-Term Memory)模型、seq2seq(Sequence to Sequence)模型以及TRSM(Time Recursive Sequence Model)模型,分析各个模型的实验原理、训练方法以及优缺点。对比各个模型并适当结合几个模型再建立针对短文本语义简化任务最高效的模型。3.针对传统循环神经网络训练算法无法处理梯度消失和梯度爆炸等问题,结合基于循环神经网络建立的LSTM模型和seq2seq模型,提出时间递归序列模型TRSM,处理序列中间隔和延迟相对较长的输入,再使用BPTT(Back Propagation Trough Time)反向传播算法对中文微博语料库进行训练。4.建立三组不同的实验作为对比,以原始参数值、改变训练循环次数和改变学习速率为差异项作对比,再对实验结果进行分析。实验结果表明TRSM模型处理后的微博文本更加简洁精炼,更适合文本语义的提取,大大减少了计算量,文字缩减率达到60%以上,语义保持率达到1.8,简化了用户要处理的大量信息,处理后结果能够更好地用于几个关键的中文语义处理任务。
【学位授予单位】：广西民族大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183;TP391.1

【参考文献】

相关期刊论文 前10条

1 王宏涛;孙剑伟;;基于BP神经网络和SVM的分类方法研究[J];软件;2015年11期

2 景秀丽;;Hedge Trimmer句子压缩技术的算法实现及改进[J];沈阳师范大学学报(自然科学版);2012年04期

3 曾承;陈桂生;杜钢;林晨;;按需智能问答系统Uniponse[J];计算机科学;2011年01期

4 苏金树;张博锋;徐昕;;基于机器学习的文本分类技术研究进展[J];软件学报;2006年09期

5 曹勇刚;曹羽中;金茂忠;刘超;;面向信息检索的自适应中文分词系统[J];软件学报;2006年03期

6 薛为民;陆玉昌;;文本挖掘技术研究[J];北京联合大学学报(自然科学版);2005年04期

7 郑家恒,卢娇丽;关键词抽取方法的研究[J];计算机工程;2005年18期

8 戴新宇;尹存燕;陈家骏;郑国梁;;机器翻译研究现状与展望[J];计算机科学;2004年11期

9 朱大奇;人工神经网络研究现状及其展望[J];江南大学学报;2004年01期

10 赵晋泉,侯志俭,吴际舜;改进最优潮流牛顿算法有效性的对策研究[J];中国电机工程学报;1999年12期

相关硕士学位论文 前1条

1 庞超;神经网络在新闻标题生成中的研究[D];北京交通大学;2018年

，

本文编号：2681857