中文微观篇章主次和关系识别方法研究
发布时间：2021-01-21 18:05
近年来,随着自然语言处理的研究重点逐渐从词语和句子转向篇章,侧重于理解文本整体语义的篇章分析任务正得到越来越多的关注。篇章主次识别和篇章关系识别是篇章分析中两个重要的语义理解任务,分别通过识别出篇章单元之间的语义逻辑关系和主次核性关系来帮助理解文章的语义脉络。目前,绝大多数的篇章分析研究面向英文,中文篇章分析研究还处于初级阶段。因此,本文主要针对中文篇章主次和篇章关系的识别方法展开深入研究,主要研究内容包括以下三个方面:（1）基于文本匹配方法的篇章主次识别方法针对目前大部分工作没有考虑篇章主次语言特性的问题,本文提出了一个文本匹配网络用于识别中文篇章主次。首先,通过在编码器中结合双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）来同时捕获全局依赖信息和局部n-gram信息;然后,通过引入三种常见的文本匹配方法,即余弦相似度、双线性模型和单层神经网络来计算单元之间的相似度和交互信息;最后,通过在篇章单元和段落之间进行语义匹配来提供额外的高层语义线索。实验结果显示本文提出模型的性能优于多个基准模型。（2）基于句子级表示的隐式篇章关系识别方法目前,神经网络方法大部分仅仅模拟了人类的...
【文章来源】：苏州大学江苏省
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－２例２－４对应的连接依存树??
）６ｕ＼ｍｅｍ＼－?ｚ：：／＾｛ｂ?＾＾＾＾５??１〇０（）Ｉ＃Ａ＃Ｉ?ＢＰ?Ｕ?Ｅ?ｓ?ａ??１?—－ｎ?Ｊ?／Ａ＼?ｒ＇￣＂ｃＴ?＾！１?门?－ｙ??ｌｏＶｕｌｗＴｇｌ?帝Ｗ（目＝，??Ｐａｒａ?Ｉ?〇?Ｏ?Ｏ?Ｉ?＃?ｆ?ｇ］?－?Ｚ：：／Ｂ?￣、日丨〇〇〇Ｑｇｄ?｜?；丨一二?白??Ｋ＾ｎｎｉｍｍＷ］?Ｌ－－?」」＿?匕??｜?Ｉ?Ｉ?Ｉ??Ｔｅｘｔ?Ｅｎｃｏｄｉｎｇ?Ｔｅｘｔ?Ｍａｔｃｈｉｎｇ?Ｎｕｃｌｅａｒｉｔｙ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ??图３－１文本匹配网络的整体框架??本章提出的ＴＭＮ模型基于两个假设：１）篇章主次和篇章单元之间的语义相似度??或者语义交互密切相关。通常情况下，具有相似语义的篇章单元之间存在多核关系，??而存在强语义交互的篇章单元之间存在单核关系；２）两个篇章单元之间的主次与它??们所在的局部篇章（段落）的主题存在联系。例如，在一个单核关系中，核心单元通??常在语义上与段落主题更加接近。因此ＴＭＮ模型不仅在篇章单元之间进行语义匹配，??在篇章单元和单元所在段落之间也使用余弦、双线性和单层神经网络这三种文本匹配??方法来捕获交互特征。??３．３．１文本编码模块??受问答任务中卷积池（Ｃｏｎｖｏｌｕｔｉｏｎａｌ－ｐｏｏｌｉｎｇ）?ＬＳＴＭ模型［４°１的启发，ＴＭＮ中的??文本编码模块同时结合了?Ｂｉ－ＬＳＴＭ和ＣＮＮ来编码篇章单元和段落Ｐａｒａ。??文本单元或者段落Ｐａｒａ对应的词语序列是文本编码模块??的输入，其中ｒ是篇章单元或者段落中词语的数量。序列中的每一个词语￣都通??过合并其对应的词向量和词性标签向量ｐ；来表示，如式（３－５）所示：??＝?［ｅｉ，
???—?——?—－—?一????、??，（ｉｍＨｌｆｎｎｎｎｌ?＇??｜?ｃ］｛）?ｃ２〇?；??ｆ?ｒ??Ｉ?Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ?Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ?Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ?｜??■??ｉ??ｉ???＿Ｚ＿?——Ｉ?ｒ—ｉ?ｒ＾ｉ?ｒ＾－ｉ?——Ｉ?ｒ——ｒ－＾?Ｉ??１?Ａｒｇｘ?ｘ＼?ｘ＼?ｘ；?ｘ＼?ｘ＼?ｘｆ?ｘ２ｎ?Ａｒｇ２?Ｊ??＼＿ＵＵＵＵ＿ＵＵ＿ＵＵ?ｙ??图４－１三层注意力网络模型的整体结构??两个论元ｄｒｇｌ和对应的词语序列是模型的输入。ＴＬＡＮ首先通过自注意力??层对输入词语序列进行初步编码，使得输出序列每一个位置的表示都包含论元自身的??上下文信息。然后，将初步编码后的表示作为交互注意力层的输入，通过度量两个论??元词语之间的语义联系来重新编码论元，使得编码后论元每－个位置的输出不仅包含??论元自身所有词语的语义信息，还蕴含了与另一个论元中对应位置词语的语义联系，??并且进一步通过平均池化操作获得论元的中间表示和／＾。接着通过非线性变换??在中间表示的基础上获得论元对的外部记忆Ａｆ，并且和论元的初步编码结果一起输??入到一个注意力层中以生成论元的最终精炼表示丨，Ｋｆ。最后将精炼表示连接后先??进行非线性变换，然后送入到ｓｏｆｔｍａｘ层完成篇章关系的识别。??４．３．１自注意力层??目前的工作大多采用Ｂｉ－ＬＳＴＭ或者ＩＤ?ＣＮＮ来对文本序列进行编码，但是Ｂｉ－??ＬＳＴＭ由于其循环结构训练费时，而ＣＮＮ由于卷积核视野有限，在捕获全局信息方??面存在不足。因此最近的－些工作＿［４８］尝试
【参考文献】：
期刊论文
[1]基于转移的中文篇章结构解析研究[J]. 孙成,孔芳. 中文信息学报. 2018(12)
[2]汉语隐式篇章关系识别[J]. 孙静,李艳翠,周国栋,冯文贺. 北京大学学报(自然科学版). 2014(01)
博士论文
[1]汉语篇章结构表示体系及资源构建研究[D]. 李艳翠.苏州大学 2015
本文编号：2991648
【文章来源】：苏州大学江苏省
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－２例２－４对应的连接依存树??
）６ｕ＼ｍｅｍ＼－?ｚ：：／＾｛ｂ?＾＾＾＾５??１〇０（）Ｉ＃Ａ＃Ｉ?ＢＰ?Ｕ?Ｅ?ｓ?ａ??１?—－ｎ?Ｊ?／Ａ＼?ｒ＇￣＂ｃＴ?＾！１?门?－ｙ??ｌｏＶｕｌｗＴｇｌ?帝Ｗ（目＝，??Ｐａｒａ?Ｉ?〇?Ｏ?Ｏ?Ｉ?＃?ｆ?ｇ］?－?Ｚ：：／Ｂ?￣、日丨〇〇〇Ｑｇｄ?｜?；丨一二?白??Ｋ＾ｎｎｉｍｍＷ］?Ｌ－－?」」＿?匕??｜?Ｉ?Ｉ?Ｉ??Ｔｅｘｔ?Ｅｎｃｏｄｉｎｇ?Ｔｅｘｔ?Ｍａｔｃｈｉｎｇ?Ｎｕｃｌｅａｒｉｔｙ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ??图３－１文本匹配网络的整体框架??本章提出的ＴＭＮ模型基于两个假设：１）篇章主次和篇章单元之间的语义相似度??或者语义交互密切相关。通常情况下，具有相似语义的篇章单元之间存在多核关系，??而存在强语义交互的篇章单元之间存在单核关系；２）两个篇章单元之间的主次与它??们所在的局部篇章（段落）的主题存在联系。例如，在一个单核关系中，核心单元通??常在语义上与段落主题更加接近。因此ＴＭＮ模型不仅在篇章单元之间进行语义匹配，??在篇章单元和单元所在段落之间也使用余弦、双线性和单层神经网络这三种文本匹配??方法来捕获交互特征。??３．３．１文本编码模块??受问答任务中卷积池（Ｃｏｎｖｏｌｕｔｉｏｎａｌ－ｐｏｏｌｉｎｇ）?ＬＳＴＭ模型［４°１的启发，ＴＭＮ中的??文本编码模块同时结合了?Ｂｉ－ＬＳＴＭ和ＣＮＮ来编码篇章单元和段落Ｐａｒａ。??文本单元或者段落Ｐａｒａ对应的词语序列是文本编码模块??的输入，其中ｒ是篇章单元或者段落中词语的数量。序列中的每一个词语￣都通??过合并其对应的词向量和词性标签向量ｐ；来表示，如式（３－５）所示：??＝?［ｅｉ，
???—?——?—－—?一????、??，（ｉｍＨｌｆｎｎｎｎｌ?＇??｜?ｃ］｛）?ｃ２〇?；??ｆ?ｒ??Ｉ?Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ?Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ?Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ?｜??■??ｉ??ｉ???＿Ｚ＿?——Ｉ?ｒ—ｉ?ｒ＾ｉ?ｒ＾－ｉ?——Ｉ?ｒ——ｒ－＾?Ｉ??１?Ａｒｇｘ?ｘ＼?ｘ＼?ｘ；?ｘ＼?ｘ＼?ｘｆ?ｘ２ｎ?Ａｒｇ２?Ｊ??＼＿ＵＵＵＵ＿ＵＵ＿ＵＵ?ｙ??图４－１三层注意力网络模型的整体结构??两个论元ｄｒｇｌ和对应的词语序列是模型的输入。ＴＬＡＮ首先通过自注意力??层对输入词语序列进行初步编码，使得输出序列每一个位置的表示都包含论元自身的??上下文信息。然后，将初步编码后的表示作为交互注意力层的输入，通过度量两个论??元词语之间的语义联系来重新编码论元，使得编码后论元每－个位置的输出不仅包含??论元自身所有词语的语义信息，还蕴含了与另一个论元中对应位置词语的语义联系，??并且进一步通过平均池化操作获得论元的中间表示和／＾。接着通过非线性变换??在中间表示的基础上获得论元对的外部记忆Ａｆ，并且和论元的初步编码结果一起输??入到一个注意力层中以生成论元的最终精炼表示丨，Ｋｆ。最后将精炼表示连接后先??进行非线性变换，然后送入到ｓｏｆｔｍａｘ层完成篇章关系的识别。??４．３．１自注意力层??目前的工作大多采用Ｂｉ－ＬＳＴＭ或者ＩＤ?ＣＮＮ来对文本序列进行编码，但是Ｂｉ－??ＬＳＴＭ由于其循环结构训练费时，而ＣＮＮ由于卷积核视野有限，在捕获全局信息方??面存在不足。因此最近的－些工作＿［４８］尝试
【参考文献】：
期刊论文
[1]基于转移的中文篇章结构解析研究[J]. 孙成,孔芳. 中文信息学报. 2018(12)
[2]汉语隐式篇章关系识别[J]. 孙静,李艳翠,周国栋,冯文贺. 北京大学学报(自然科学版). 2014(01)
博士论文
[1]汉语篇章结构表示体系及资源构建研究[D]. 李艳翠.苏州大学 2015
本文编号：2991648
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/2991648.html
最近更新
教材专著
