自然语言句子级结构表示的建模与学习
本文关键词：自然语言句子级结构表示的建模与学习
更多相关文章： 表示学习 张量模型 半监督学习 自然语言处理 深度学习 关系抽取
【摘要】：表示学习方法可以为自然语言处理任务学习低维的平滑特征表示,从而缓解数据稀疏问题对于基于有监督学习的自然语言处理方法的影响。近年来,服务于如短语和句法树等自然语言结构的表示学习方法得到了广泛的关注。然而已有方法往往局限于对于特定类型结构的表示,而且只能使用受限的语言学标注信息从而描述能力有限。受到以上现状的启发,本文考虑通过结合语言学知识和无监督的表示学习方法,从而更好地建立自然语言的结构表示。为了实现这一目标,本文提出了一种新的结构表示模型,并为该模型的训练过程提出了新的方法。同时本文对于结构表示在自然语言处理中的应用进行了新的探索。本文研究的核心在于表示自然语言结构各关键信息之间的合取。第一,为了说明合取思想的重要性,本文首先从最简单的n元词组表示的构造方法及应用开始,基于n元词组本身是其各组成词之间的合取这一事实,展示了词表示的合取对于构建n元词组表示的重要性。传统的基于词嵌入的n元词组表示方法通过对词嵌入向量进行拼接来表示n元词组,然而正如本文的的分析所示,这样的方法不能反映n元词组各组成词之间的合取信息。本文则通过对词嵌入进行聚类,并对离散的聚类进行合取对n元词组进行表示。这一方法相比词嵌入拼接得到了更好的实验结果,从而证明了合取信息的重要性。本文进一步在训练样本的去噪问题中展示了上述n元词组表示的有效性。第二,本文提出了一个通用的结构表示模型。对于任意的输入结构,只要我们可以将其表示为以词为节点的图,该模型便可为其构造结构表示。本文的这一模型首先将输入结构分解为子结构,每个子结构包含了一些词节点(表示为词嵌入),和一些带有结构信息属性的边(表示为语言学特征)。本文的模型通过对上述两种信息对应的向量求外积来获得它们的合取信息,从而得到每个子结构的表示。我们对所有子结构表示求和,得到原始输入结构的表示。在上述结构表示的基础上,本文的模型通过一个参数张量获得目标任务的输出。这一模型被称为基于丰富特征的结构表示合成模型(Feature-rich Compositional Embedding Model,FCM)。本文主要关注该模型在句子级别结构的表示任务上的应用,并证明该模型在多个关系抽取任务上都获得了业界领先的结果。第三,上面的FCM模型当子结构包含词节点较多,或者当张量的某个输入视角维度较高时,会因为模型的参数过多而易于过拟合。本文通过张量低秩近似的方法,对FCM进行了近似,得到一种称为低秩FCM的新模型(Low-Rank FCM,LRFCM)。这一近似的结果是每一个视角上的输入都被映射到更低维的向量,减小了模型的参数空间。同时,通过张量的CP模式近似,我们将原本耗时的张量乘法近似为上述低维向量之间的点积。上述改进有效地减小了FCM的参数空间并提升了模型的运行速度,并在多个任务上取得了实验结果的提升。第四,本文提出了一种基于有标记数据和无标记数据的联合训练方法,用于对上述模型进行更充分的训练。相比传统的流水线式半监督训练方法,本文提出的方法有利于更充分地训练未被有标记数据覆盖的词的词嵌入。为了利用无标记数据,本文提出了一种基于语言模型思想的方法,使用一个结构的表示预测该结构的上下文词。最后,本文以短语嵌入的学习为例,展示了本文所提出的通用表示模型(及其低秩近似)以及联合训练方法的重要作用。上述方法在多个短语相似度任务上都取得了较大的提升。本文提出的方法在包括关系抽取、短语相似度、序列标注和跨语言映射等多个任务上都取得了业界领先的结果。同时本文所提出的基于合取的表示建模思想也为未来的表示学习的研究提供了新的方法和视角。
【学位授予单位】：哈尔滨工业大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.1
【相似文献】
中国期刊全文数据库 前10条
1 谭俊明;;自然语言的理解综述[J];科技广场;2008年05期
2 何祖军;胡静;;自然语言的规范与转化——基于嵌入式系统的描述[J];计算机与现代化;2008年11期
3 刘海涛;关于自然语言计算机处理的几点思考[J];术语标准化与信息技术;2001年01期
4 刘三满,刘荷花;论计算机处理自然语言的新趋向[J];科技情报开发与经济;2002年04期
5 胡广朋;用于计算机辅助教学的自然语言接口[J];微计算机应用;2003年05期
6 张世红;胡佳佳;宋继华;刘会霞;琚文胜;;网络环境下的自然语言检索[J];医学情报工作;2005年06期
7 胡广朋;钱遥立;沈继峰;;一种应用规划识别建立自然语言接口的方法[J];江苏科技大学学报(自然科学版);2006年03期
8 杜津;杨一平;曾隽芳;;自然语言时间信息的模拟与计算[J];计算机工程与设计;2006年13期
9 张雪英;闾国年;宦建;;面向汉语的自然语言路径描述方法[J];地球信息科学;2008年06期
10 彭程;;基于本体论的电子商务自然语言研究[J];微计算机信息;2008年18期
中国重要会议论文全文数据库 前7条
1 胡健;黄丽华;刘杰;;基于自然语言的智能决策支持系统人机接口[A];管理科学与系统科学进展——全国青年管理科学与系统科学论文集（第4卷）[C];1997年
2 盛新华;柳劲;;自然语言否定的语用功能与交际策略[A];改革开放以来逻辑的历程——中国逻辑学会成立30周年纪念文集（上卷）[C];2009年
3 李灵辉;林尔正;林玉婷;林丹红;;基于自然语言检索的中医中风康复古代文献数据库构建[A];福建省图书馆学会2011年学术年会论文集[C];2011年
4 谷明哲;孟小峰;周勇;;中文自然语言查询界面NChiql的Java设计实现[A];第十六届全国数据库学术会议论文集[C];1999年
5 周勇;孟小峰;刘爽;王珊;;数据库自然语言查询系统NChiql中语义依存树向SQL的转换[A];第十六届全国数据库学术会议论文集[C];1999年
6 万继华;;基于哲学本体论的真值演算系统——实现计算机理解自然语言的逻辑方法[A];逻辑学及其应用研究——第四届全国逻辑系统、智能科学与信息科学学术会议论文集[C];2008年
7 才让加;吉太加;;藏语语料库中词性分类代码的确定[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国博士学位论文全文数据库 前5条
1 田飞;用于自然语言分布式表达的联合学习方法研究[D];中国科学技术大学;2016年
2 于墨;自然语言句子级结构表示的建模与学习[D];哈尔滨工业大学;2016年
3 李虎;基于本体和规则的受控自然语言系统模型研究[D];华中科技大学;2010年
4 孟小峰;中文数据库自然语言查询处理研究[D];中国科学院研究生院（计算技术研究所）;1999年
5 朱少楠;面向地理场景的“文—图—景”转换方法研究[D];南京师范大学;2013年
中国硕士学位论文全文数据库 前10条
1 石亚坤;自然语言的人类理解与机器“理解”对比研究[D];陕西师范大学;2011年
2 柳劲;自然语言否定的逻辑思考[D];湘潭大学;2009年
3 裴君波;信息分发中自然语言订阅接口的研究[D];北京邮电大学;2015年
4 付胜博;基于自然语言的空间数据检索研究[D];西北工业大学;2007年
5 武睿峰;自然语言密写分析及密写量检测[D];西北大学;2014年
6 李霞;自然语言篇章中时间信息的研究及在产品设计领域中的应用[D];西安电子科技大学;2013年
7 汪志南;农业信息自然语言控制系统的研究[D];中国农业科学院;2001年
8 徐娟;面向地图搜索领域的自然语言句子g镆逡馔祭斫夥椒ㄑ芯縖D];复旦大学;2014年
9 詹思瑜;自然语言的计算机处理模型[D];电子科技大学;2003年
10 周洪楷;基于数据库的自然语言智能接口的研究与实现[D];西安电子科技大学;2011年
，本文编号：1301786
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/1301786.html
