改进的递归网络及其在汉语语言处理中的应用

发布时间：2020-06-03 05:28

【摘要】：如何表示汉语的基本语言单元以及它们之间的关系是汉语语言处理的两个重要问题.递归网络作为一类图灵完备的机器学习模型,它能提供一个能表示各类语言单元及其关系的框架.然而,现有的递归网络和基于递归网络的汉语语言处理存在以下不足:1)现有的递归网络的记忆能力有限;2)现有的汉语表示学习所采用的神经语言模型仅依赖于文本语料,这样会导致学到的汉语表示很难反映出汉语的语言学知识所蕴含的语义,并且神经语言模型直接预测目标词汇会导致模型输出层的softmax函数维度过高;3)现有的递归网络对于汉语中长距离依赖关系的建模能力不足.针对这些问题,本文进行了以下研究:·提出了一种广义的记忆增强的递归网络模型M-RNN,并且给出了相应的度量指标:持续时间(Duration),寻址能力(Addressability)和信息容量(Capacity).这三个指标分别反映了M-RNN的三个侧面:1)记忆的持续时间;2)记忆访问的复杂度;3)在一定时期内可以获得的信息总量.通过分析三个指标之间的关系发现了一个原理:称为DAC(Duration,Addressability and Capacity)原理.这个原理表明,在设计记忆增强的递归网络时,不能在三个指标上同时追求最佳性能.·提出了两种利用汉字的形态学和音韵学知识改进汉语表示学习的方法:1)知识作为额外的监督信号;2)知识作为外部记忆.并分别设计了两个改进的递归网络Mor Pho RNN和Mor Pho M3-RNN.实验结果表明,汉字的形态学和音韵学知识有助于提高汉语表示学习的性能.另外,本文针对直接预测目标词汇会导致输出层的softmax函数维度过高的问题,提出了以预测目标词汇的汉字部件信息和拼音信息替代直接预测目标词汇的方案.这种方案的优势在于:一方面能够降低输出层的softmax函数的维数;另一方面,模型的输出层维数不会随词表的增加而增加.·为汉语序列标注提出了长期记忆和工作记忆增强的递归网络LWM-RNN.这个新的体系结构对于处理汉语序列标注中可能存在的长距离依赖关系有两点优势:1)它能把信息处理和信息存储分离开;2)它根据信息的持续时间把信息存储划分成长期记忆和工作记忆.在一定的假设条件下,本文证明了LWM-RNN为什么不会面临梯度消失的问题.在汉语分词和命名实体识别这两个汉语序列标注任务上的实验结果表明,LWM-RNN对于长句子或者篇章级别的汉语信息处理任务有潜在的优势.
【学位授予单位】：东南大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.1;TP183

【参考文献】

相关期刊论文 前10条

1 肖瑜;;中国音韵学研究会第十八届学术讨论会暨汉语音韵学第十三届国际学术研讨会会议纪要[J];古汉语研究;2014年04期

2 韦爱云;;国内外词汇功能语法研究述评[J];广西师范大学学报(哲学社会科学版);2014年03期

3 柯佳;詹永照;陈潇君;汪满容;;基于扩展格框架标注的视频事件多维关联规则挖掘方法[J];计算机应用研究;2013年10期

4 李南;;告别铅与火的新技术—汉字激光照排系统[J];激光杂志;2010年04期

5 方立;;评广义短语结构语法[J];当代语言学;2007年03期

6 鲁国尧;;论汉语音韵学的研究方法和我的“结合论”[J];汉语学报;2007年02期

7 冯志伟;LFG中从词汇结构到功能结构的转换[J];语言文字应用;2004年04期

8 夏幼明,刘海庆,徐天伟;基于语义网络的知识表示的形式转换及推理[J];武汉大学学报(信息科学版);2001年04期

9 夏幼明,徐天伟,张春霞,夏幼安;语义网络的知识获取及转换的研究[J];云南师范大学学报(自然科学版);1999年06期

10 李葆嘉;中国当代的汉语音韵学研究[J];学术研究;1996年09期

，

本文编号：2694368