基于CDTB的篇章结构解析器的自动构建研究
发布时间：2021-06-29 05:07
词、短语和句子级的相关研究日趋成熟,篇章成为了自然语言处理领域的研究焦点之一。篇章分析旨在研究篇章特点和篇章组成单元之间的语义关系,进而从整体上理解篇章。篇章结构解析作为篇章分析的核心任务,其研究目标是依据篇章理论将篇章文本组织成结构化数据,为下游篇章级应用提供支撑。基于中文篇章连接依存树（Chinese Connective-driven Discourse Tree,CDT）理论和对应资源库CDTB,本文针对中文篇章结构自动解析问题进行了研究,具体工作包括:（1）提出了一种基于长短期记忆神经网络和图卷积神经网络组合的中文基本篇章单元（Elementary Discourse Unit,EDU）识别方法。该方法将EDU识别看作一个序列化标记任务,通过对上下文及EDU内部各成分间依存结构信息的表征来实现EDU分割点的确认,在CDTB语料上的实验验证了方法的有效性。（2）提出了一个基于神经网络和转移系统的中文篇章结构自底向上的自动解析方法。该方法将篇章树的构建过程看成状态转移过程,通过预测下一时刻的状态转移来完成篇章解析树的自动构建。在CDTB语料上的实验验证了方法的有效性。本文基于这一...
【文章来源】：苏州大学江苏省
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２－２?ＣＤＴ篇章关系类别和层次??２．２?ＣＤＴＢ语料库介绍和统计??ＣＤＴＢ全称连接依存树库篇章结构语料，其在ＣＴＢ?６．０＿基础上标注有５００篇??
第二章相关知识?基于ＣＤＴＢ的篇章结构解析器的自动构建研究??有２３３６个有效的ＣＤＴ，包含５４２５个句子，１０６３２个ＥＤＵ，平均每个ＣＤＴ包含２．３??个句子、４．５个ＥＤＵ，每个句子平均可以分割为１．９５个ＥＤＵ。篇章树的平均高度为??３．４２，最低高度为２，最高为１０。图２－３给出了篇章树的高度分布。可以看出，大部??分的篇章树高度集中在２到４之间，也意味着大部分的ＣＤＴ都只有一层到三层内??部关系节点。图２－４给出了?ＣＤＴＢ中包含不同ＥＤＵ个树的ＣＤＴ数量的分布情况。??与图２－３反应的统计特征一致，大部分ＣＤＴ只包含２到６个ＥＤＵ，最多包含２８个??ＥＤＵ。??７００?－?＿??６００?？圓漏??ｉｌｌ??？?１｜１｜??〇１?＿＿＿＿＿?＿Ｉ￣，￣￣??２３４５６７８９?１０?１１??篇章树高度??图２－３?ＣＤＴＢ篇章树高度分布??ＣＤＴＢ共包含７３２１个关系节点，每个关系节点都标注有驱动的连接词、核心位??置和篇章关系。ＣＤＴ中核心位置分为三类，中心在左、中心在右和所有孩子节点??都是中心，为方便描述，下文中使用?ＮＳ?（Ｎｕｃｌｅｕｓ－Ｓａｔｅｌｌｉｔｅ）、ＳＮ?（Ｓａｔｅｌｌｉｔｅ－Ｎｕｃｌｅｕｓ）??和ＮＮ?（Ｎｕｃｌｅｕｓ－Ｎｕｃｌｅｕｓ）分别代表三种中心位置。统计所有关系节点的核心位置??得，ＮＮ，?ＮＳ?和?ＳＮ分别占比?５１．３％、２８．８％?和?３８．９％。??所有篇章关系中，显式篇章关系１８１４个，占比２４．８％；隐式篇章关系５５０７个，??占比７５．２％。从句子层面考虑，可以将ＣＤＴＢ的篇章关系分为句内关系和句间关系，??统计得ＣＤＴＢ语料中句内关系５１０
基于ＣＤＴＢ的篇章结构解析器的自动构建研究?第二章相关知识??其中显式关系占比１６．４％。??由上述ＣＤＴＢ总体统计结果可知，以段落为单位标注的ＣＤＴＢ中篇章树高度普??遍较低，多数只有２到３层关系，大多包含２到６个ＥＤＵ。篇章树内部节点的核心??位置中，ＮＮ核心位置超过一半以上。篇章关系类别中，超过７成是隐式关系，句间??关系中隐式关系占比更高。??６００?－Ｉ???５００?－??４００?－??！??Ｖ?３００?■??树??个??数?２００?－?＾??２?３?４?５?６?７?８?９?１０?１２?１４?１６?１８?２０?２２?２４?２６?２８??ＥＤＵ个数??图２－４?ＣＤＴＢ篇章树ＥＤＵ数量分布??２．３数据预处理与数据集划分??在基于ＣＤＴＢ完成中文篇章解析器的自动构建之前，我们需要先对ＣＤＴＢ语料??进行预处理。ＣＤＴＢ在ＣＴＢ?６．０的句法之上构建篇章结构。通过将ＣＴＢ?６．０中对应??句子编号的句法信息映射到ＣＤＴＢ对应的句子上，就可以得到ＣＤＴＢ中每个句子和??ＥＤＵ的中文分词、词性信息和每个句子的成分句法信息。２．１节提到过ＣＤＴ中标注??ＮＮ核心位置的关系节点孩子节点可以有多个，这会给篇章结构的自动解析造成不??便。根据句法分析中的惯用方法，预处理阶段首先通过对这种多元关系不断合并最??右端的两个孩子节点，将新产生的关系节点标注与其父节点同样的核心位置和篇章??关系，从而将多元关系节点二元化。转化方法如图２－５所示。转换之后的ＣＤＴＢ语??料内部节点数量增多到８２９６个，ＮＮ核心位置占比进一步上升，与ＮＮ经常一起出??１１??
【参考文献】：
期刊论文
[1]汉语篇章连接词识别与分类[J]. 李艳翠,孙静,周国栋. 北京大学学报(自然科学版). 2015(02)
[2]汉语隐式篇章关系识别[J]. 孙静,李艳翠,周国栋,冯文贺. 北京大学学报(自然科学版). 2014(01)
[3]汉语复句关系词库的建设及其利用[J]. 胡金柱,吴锋文,李琼,舒江波. 语言科学. 2010(02)
[4]面向中文信息处理的复句关系词提取算法研究[J]. 胡金柱,舒江波,姚双云,周星,吴锋文,肖升. 计算机工程与科学. 2009(10)
[5]修辞结构理论与句群研究[J]. 陈莉萍. 苏州大学学报(哲学社会科学版). 2008(04)
本文编号：3255794
【文章来源】：苏州大学江苏省
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２－２?ＣＤＴ篇章关系类别和层次??２．２?ＣＤＴＢ语料库介绍和统计??ＣＤＴＢ全称连接依存树库篇章结构语料，其在ＣＴＢ?６．０＿基础上标注有５００篇??
第二章相关知识?基于ＣＤＴＢ的篇章结构解析器的自动构建研究??有２３３６个有效的ＣＤＴ，包含５４２５个句子，１０６３２个ＥＤＵ，平均每个ＣＤＴ包含２．３??个句子、４．５个ＥＤＵ，每个句子平均可以分割为１．９５个ＥＤＵ。篇章树的平均高度为??３．４２，最低高度为２，最高为１０。图２－３给出了篇章树的高度分布。可以看出，大部??分的篇章树高度集中在２到４之间，也意味着大部分的ＣＤＴ都只有一层到三层内??部关系节点。图２－４给出了?ＣＤＴＢ中包含不同ＥＤＵ个树的ＣＤＴ数量的分布情况。??与图２－３反应的统计特征一致，大部分ＣＤＴ只包含２到６个ＥＤＵ，最多包含２８个??ＥＤＵ。??７００?－?＿??６００?？圓漏??ｉｌｌ??？?１｜１｜??〇１?＿＿＿＿＿?＿Ｉ￣，￣￣??２３４５６７８９?１０?１１??篇章树高度??图２－３?ＣＤＴＢ篇章树高度分布??ＣＤＴＢ共包含７３２１个关系节点，每个关系节点都标注有驱动的连接词、核心位??置和篇章关系。ＣＤＴ中核心位置分为三类，中心在左、中心在右和所有孩子节点??都是中心，为方便描述，下文中使用?ＮＳ?（Ｎｕｃｌｅｕｓ－Ｓａｔｅｌｌｉｔｅ）、ＳＮ?（Ｓａｔｅｌｌｉｔｅ－Ｎｕｃｌｅｕｓ）??和ＮＮ?（Ｎｕｃｌｅｕｓ－Ｎｕｃｌｅｕｓ）分别代表三种中心位置。统计所有关系节点的核心位置??得，ＮＮ，?ＮＳ?和?ＳＮ分别占比?５１．３％、２８．８％?和?３８．９％。??所有篇章关系中，显式篇章关系１８１４个，占比２４．８％；隐式篇章关系５５０７个，??占比７５．２％。从句子层面考虑，可以将ＣＤＴＢ的篇章关系分为句内关系和句间关系，??统计得ＣＤＴＢ语料中句内关系５１０
基于ＣＤＴＢ的篇章结构解析器的自动构建研究?第二章相关知识??其中显式关系占比１６．４％。??由上述ＣＤＴＢ总体统计结果可知，以段落为单位标注的ＣＤＴＢ中篇章树高度普??遍较低，多数只有２到３层关系，大多包含２到６个ＥＤＵ。篇章树内部节点的核心??位置中，ＮＮ核心位置超过一半以上。篇章关系类别中，超过７成是隐式关系，句间??关系中隐式关系占比更高。??６００?－Ｉ???５００?－??４００?－??！??Ｖ?３００?■??树??个??数?２００?－?＾??２?３?４?５?６?７?８?９?１０?１２?１４?１６?１８?２０?２２?２４?２６?２８??ＥＤＵ个数??图２－４?ＣＤＴＢ篇章树ＥＤＵ数量分布??２．３数据预处理与数据集划分??在基于ＣＤＴＢ完成中文篇章解析器的自动构建之前，我们需要先对ＣＤＴＢ语料??进行预处理。ＣＤＴＢ在ＣＴＢ?６．０的句法之上构建篇章结构。通过将ＣＴＢ?６．０中对应??句子编号的句法信息映射到ＣＤＴＢ对应的句子上，就可以得到ＣＤＴＢ中每个句子和??ＥＤＵ的中文分词、词性信息和每个句子的成分句法信息。２．１节提到过ＣＤＴ中标注??ＮＮ核心位置的关系节点孩子节点可以有多个，这会给篇章结构的自动解析造成不??便。根据句法分析中的惯用方法，预处理阶段首先通过对这种多元关系不断合并最??右端的两个孩子节点，将新产生的关系节点标注与其父节点同样的核心位置和篇章??关系，从而将多元关系节点二元化。转化方法如图２－５所示。转换之后的ＣＤＴＢ语??料内部节点数量增多到８２９６个，ＮＮ核心位置占比进一步上升，与ＮＮ经常一起出??１１??
【参考文献】：
期刊论文
[1]汉语篇章连接词识别与分类[J]. 李艳翠,孙静,周国栋. 北京大学学报(自然科学版). 2015(02)
[2]汉语隐式篇章关系识别[J]. 孙静,李艳翠,周国栋,冯文贺. 北京大学学报(自然科学版). 2014(01)
[3]汉语复句关系词库的建设及其利用[J]. 胡金柱,吴锋文,李琼,舒江波. 语言科学. 2010(02)
[4]面向中文信息处理的复句关系词提取算法研究[J]. 胡金柱,舒江波,姚双云,周星,吴锋文,肖升. 计算机工程与科学. 2009(10)
[5]修辞结构理论与句群研究[J]. 陈莉萍. 苏州大学学报(哲学社会科学版). 2008(04)
本文编号：3255794
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3255794.html
最近更新
教材专著
