端到端实体指代消解及相关技术研究
发布时间：2021-06-25 15:10
指代消解是自然语言处理领域的一项关键任务,准确无歧义的指代消解能促进对篇章语义的整体理解,对于信息抽取、自动摘要、问答系统以及机器翻译等自然语言应用有着极为重要的基础支撑作用。近年来,随着深度学习的兴起和发展,越来越多的学者和研究人员开始使用深度学习进行指代消解。深度学习模型由于其强大的拟合能力,相对于传统机器学习模型有着巨大优势。但现阶段用于指代消解的深度学习模型大多只关注文本的线性表征,而大量的研究表明结构信息对指代消解任务来说至关重要。因此,本文从结构信息的角度对中英文实体指代消解展开了以下研究:（1）先进神经网络模型的构建。本文对目前在实体指代消解任务上表现最好的神经网络进行了重新构建,对其中的耗时操作进行了改进。在使用相同设置的情况下,改进后的模型相比于原模型在训练时间与资源利用率上更具优势。在该模型的基础上,提出了以下两种结构嵌入方式。（2）提出基于压缩成分句法树的结构嵌入方式。针对原始成分句法树结点众多、结构复杂,会存在大量与实体指代消解任务无关的冗余信息的问题,提出了一种针对成分句法树的压缩算法。该方法大大减少了原始句法树中冗余结点的数量,精简了树的结构。以深度与左右兄...
【文章来源】：苏州大学江苏省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图２－１中文指代示例??
端到端实体指代消解及相关技术研宄?第二章相关理论及方法??表述对表示??〇〇〇〇〇〇〇〇ｐ〇〇〇〇〇〇〇??—隐藏层卜?｜?ＲｅＬＵ〇？ｙ？；＋ｆｔ３）??〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇??．隐藏层Ａ，?｜?ＲｅＬＵ＾／ｔ．＋ｆｔ，）??〇〇〇〇〇〇〇０＞〇〇〇〇〇〇〇〇??－输入层心?Ｉ?ＲｅＬＵｔ＾ｉ／ｉｕ＋ｆｔ！）??［ｉｍ?…ｍｉ?ｔ〇ａ．?！〇ａ?［＾ｏ?ｉｎ＾?１??候选先行词嵌入候选先行词表述嵌入表述特征表述对特征??特征?及文档特征??图２－３表述对编码器??实体对表示ｄｅ；：）?〇〇〇〇?????＾?Ｉ??“池化??ｌＯＯＯＯ＾＾ＲＩ??表述对表示／Ｍｅ：；）?［ｏｏｏｏｊｃｃ＾述对ｃ，??丨〇〇〇〇Ｋ￣＾＾??图２－４实体对编码器??同样也需要汁算－个及述不存在先行词的吋能性：??ｓｎａＯ＾）?＝?ＷＮＡｒｍ（ＮＡ，ｍ）?＋?ｂＮＡ?（２．３５）??基于＆与＾作者定义了两种操作：“合并”（合并两个部分实体）与“无操作”。推??理时，取得分最高的操作执行。??４．?Ｃｌａｒｋ?ａｎｄ?Ｍａｎｎｉｎｇ?（２０１６ｂ）??上文提到的表述排序模型通常使用启发式的损失函数进行训练。假设对ｆ－及??述ｍ，，Ｃ（ｍ，）表示ｍ，？的候选先行词集合，ｇ卩ｍ，之前的表述与ＮＡ构成的集合；７￣（ｍ，）表??示ｍ，？正确的先行词集合，当ｍ，■不存在任何先行词时，Ｔ（ｍ，．）?＝?｜Ｍ４｝。类似？公式??ｉｓ??
法树的结构嵌入?端到端实体指代消解及相关技术研宄??第四章基于压缩成分句法树的结构嵌入??本文首先给出了结构嵌入用于指代消解任务的研宄动机，然后介绍了成分句法??树压缩算法的定义及流程。最终将基于压缩成分句法树的结构嵌入加入到模型中，??并通过实验验证算法的有效性。??４．１研究动机??大量的研宄表明结构信息对于指代消解任务来说至关重要ｍ５６１。同时语料中存??在的大量的表述间嵌套情况也能侧面反映结构信息的普遍性与研究意义。因此，如??何加入合适的结构信息便成为了本章的目标。图４－１展示了ＣｏＮＬＬ?２０１２语料集中出??现的一段表述间嵌套的情况。??｜香港｜，一肓以来被Ｍ以好莱坞的称号。｜香港｜电影在过去百年的电影史上，??孕育出了不少国际知名的导演，演员和编剧，他们拉近了｜香港丨和世界的距离，??｜香港｜电影更成为让世界了解的一扇窗户，令｜香港ｊ的大都会形象在国京间更为??彰显。因此，二零零四年旅游发展局在这个本来只为观赏香港岛和维多利亚湾贵??色而建的海滨长廊卜．，又建造了这条印记着百年电影史的｜星光大道｜。游客??们可以在Ｉ这里Ｉ?了解Ｉ香港丨的电影史，也可以在Ｉ这里Ｉ近距离地接触自己心目中的明??星。??图４－１语料中出现的表述嵌套情况??加入结构信息最直接的方式便是使用成分句法树。但是原始的成分句法树的结??点众多，结构复杂，对于指代消解任务来说可能过于冗余，我们或许只需要关键表??述间的结构信息或者层次关系，亦如图４－１所示。基于这个假设，我们使用深度作为??结构信息的一种反映，对ＣｏＮＬＬ?２０１２中英文训练集的成分句法树进行了统计，如表??４－１所示。??从表４－丨可知，叶结点的平均深度约
【参考文献】：
期刊论文
[1]基于深度学习的维吾尔语名词短语指代消解[J]. 李敏,禹龙,田生伟,吐尔根·依布拉音,赵建国. 自动化学报. 2017(11)
[2]基于深度学习的维吾尔语人称代词指代消解[J]. 李冬白,田生伟,禹龙,吐尔根·依布拉音,冯冠军. 中文信息学报. 2017(04)
[3]基于Deep Learning的代词指代消解[J]. 奚雪峰,周国栋. 北京大学学报(自然科学版). 2014(01)
[4]基于树核函数的中英文代词消解[J]. 孔芳,周国栋. 软件学报. 2012(05)
[5]指代消解综述[J]. 孔芳,周国栋,朱巧明,钱培德. 计算机工程. 2010(08)
本文编号：3249433
【文章来源】：苏州大学江苏省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图２－１中文指代示例??
端到端实体指代消解及相关技术研宄?第二章相关理论及方法??表述对表示??〇〇〇〇〇〇〇〇ｐ〇〇〇〇〇〇〇??—隐藏层卜?｜?ＲｅＬＵ〇？ｙ？；＋ｆｔ３）??〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇??．隐藏层Ａ，?｜?ＲｅＬＵ＾／ｔ．＋ｆｔ，）??〇〇〇〇〇〇〇０＞〇〇〇〇〇〇〇〇??－输入层心?Ｉ?ＲｅＬＵｔ＾ｉ／ｉｕ＋ｆｔ！）??［ｉｍ?…ｍｉ?ｔ〇ａ．?！〇ａ?［＾ｏ?ｉｎ＾?１??候选先行词嵌入候选先行词表述嵌入表述特征表述对特征??特征?及文档特征??图２－３表述对编码器??实体对表示ｄｅ；：）?〇〇〇〇?????＾?Ｉ??“池化??ｌＯＯＯＯ＾＾ＲＩ??表述对表示／Ｍｅ：；）?［ｏｏｏｏｊｃｃ＾述对ｃ，??丨〇〇〇〇Ｋ￣＾＾??图２－４实体对编码器??同样也需要汁算－个及述不存在先行词的吋能性：??ｓｎａＯ＾）?＝?ＷＮＡｒｍ（ＮＡ，ｍ）?＋?ｂＮＡ?（２．３５）??基于＆与＾作者定义了两种操作：“合并”（合并两个部分实体）与“无操作”。推??理时，取得分最高的操作执行。??４．?Ｃｌａｒｋ?ａｎｄ?Ｍａｎｎｉｎｇ?（２０１６ｂ）??上文提到的表述排序模型通常使用启发式的损失函数进行训练。假设对ｆ－及??述ｍ，，Ｃ（ｍ，）表示ｍ，？的候选先行词集合，ｇ卩ｍ，之前的表述与ＮＡ构成的集合；７￣（ｍ，）表??示ｍ，？正确的先行词集合，当ｍ，■不存在任何先行词时，Ｔ（ｍ，．）?＝?｜Ｍ４｝。类似？公式??ｉｓ??
法树的结构嵌入?端到端实体指代消解及相关技术研宄??第四章基于压缩成分句法树的结构嵌入??本文首先给出了结构嵌入用于指代消解任务的研宄动机，然后介绍了成分句法??树压缩算法的定义及流程。最终将基于压缩成分句法树的结构嵌入加入到模型中，??并通过实验验证算法的有效性。??４．１研究动机??大量的研宄表明结构信息对于指代消解任务来说至关重要ｍ５６１。同时语料中存??在的大量的表述间嵌套情况也能侧面反映结构信息的普遍性与研究意义。因此，如??何加入合适的结构信息便成为了本章的目标。图４－１展示了ＣｏＮＬＬ?２０１２语料集中出??现的一段表述间嵌套的情况。??｜香港｜，一肓以来被Ｍ以好莱坞的称号。｜香港｜电影在过去百年的电影史上，??孕育出了不少国际知名的导演，演员和编剧，他们拉近了｜香港丨和世界的距离，??｜香港｜电影更成为让世界了解的一扇窗户，令｜香港ｊ的大都会形象在国京间更为??彰显。因此，二零零四年旅游发展局在这个本来只为观赏香港岛和维多利亚湾贵??色而建的海滨长廊卜．，又建造了这条印记着百年电影史的｜星光大道｜。游客??们可以在Ｉ这里Ｉ?了解Ｉ香港丨的电影史，也可以在Ｉ这里Ｉ近距离地接触自己心目中的明??星。??图４－１语料中出现的表述嵌套情况??加入结构信息最直接的方式便是使用成分句法树。但是原始的成分句法树的结??点众多，结构复杂，对于指代消解任务来说可能过于冗余，我们或许只需要关键表??述间的结构信息或者层次关系，亦如图４－１所示。基于这个假设，我们使用深度作为??结构信息的一种反映，对ＣｏＮＬＬ?２０１２中英文训练集的成分句法树进行了统计，如表??４－１所示。??从表４－丨可知，叶结点的平均深度约
【参考文献】：
期刊论文
[1]基于深度学习的维吾尔语名词短语指代消解[J]. 李敏,禹龙,田生伟,吐尔根·依布拉音,赵建国. 自动化学报. 2017(11)
[2]基于深度学习的维吾尔语人称代词指代消解[J]. 李冬白,田生伟,禹龙,吐尔根·依布拉音,冯冠军. 中文信息学报. 2017(04)
[3]基于Deep Learning的代词指代消解[J]. 奚雪峰,周国栋. 北京大学学报(自然科学版). 2014(01)
[4]基于树核函数的中英文代词消解[J]. 孔芳,周国栋. 软件学报. 2012(05)
[5]指代消解综述[J]. 孔芳,周国栋,朱巧明,钱培德. 计算机工程. 2010(08)
本文编号：3249433
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3249433.html
