基于句群的汉语语篇内容连贯性分析技术研究

发布时间：2020-05-21 21:15

【摘要】：近几年,人工智能在各行各业激起了点点涟漪,进一步形成了层层热浪。在实现了基本智能之后,更多的学者为人工智能的“人性化”问题投入了更多努力。语篇的衔接与连贯在许多领域中都担任着重要的角色,并为相关领域的研究提供了一定程度的帮助。例如,智能写作在实现了句子自动生成之后,应保证句子间的连贯性,使生成的文章通顺不生硬。这就需要分析语篇句子之间的连贯性。另外,在阅读理解任务中,如果能很好地识别句子之间的连贯性,在进行答案选择时就能够有效地在原文中定位,从而进行语义分析,选出较合适的答案。综上,语篇的衔接与连贯是语篇分析的重点,是进行更多领域研究的基石。然而,直接在句子层面上进行连贯性研究会遗失很多上下文信息,直接使用整个篇章进行分析研究会因颗粒度较大存在许多技术上的问题。因此,本文在句群的层面上进行语篇连贯性的研究。对句群的划分困难度、句群在不同体裁语料中的分布特征、句群的自动切分以及句群内部句子间关系的自动识别进行了研究,具体如下。首先,本文从多角度总结了句群边界以及类别的分布特点,分析了句群内部句间的各种连接关系,提出了一种基于人工标注的语篇困难度识别模型,并利用双人标注信息的差异性来验证语篇困难度识别方法的有效性与准确性。实验表明,该模型可以较好地区分不同体裁新闻类语篇的标注难度,为相关语篇内容的分析理解打下了良好的基础。其次,本文使用新闻、应用、散文和百科四个不同体裁语篇语料,使用双人独立标注的方式,对四个库进行人工连贯性分析标注。在此基础上,分析了四类语篇语料库中的句群相关的连贯性分布特征,详细对比了不同体裁语篇中的句群连贯性标注难度差异情况,为后续实现句群边界的自动切分与句间关系的自动分析打下了良好基础。再次,本文利用卷积神经网络以及注意力机制对语篇句对进行分类,并结合句群主题特征来提升句群边界识别的准确率。利用大规模弱标注段落数据集解决句群语料短缺的难题。实验表明,该方法能够有效地进行句群边界的自动识别,实现语篇句群的自动切分。最后,本文结合了卷积神经网络与词语序列特征,综合考虑了语义与结构等多方面的特征,并加入注意力机制来深入挖掘句群内部间双核心(连贯关系、流水关系)句际关系。实验表明,本文方法能够有效地识别双核心句际关系,并且可移植性强。
【图文】：

对比图,位标,对比图

第 2 章汉语语篇的连贯性标注困难度分析研究数据结果讨论困难度计算模型的各个特征的权重已经通过训练得出，因此目标函首先使用标注困难度计算模型对 45 篇测试语料进行计算，由于两位标注不同，训练得出的困难度模型各个特征权重不相同，因此计算得完全相同。将经过数据处理之后的两组困难度数据进行对比得出，对标注者得出的困难度数据不完全相同，但差别较小；从总体趋势来据点左右，困难度呈现出了较大下降，在 32 篇之前，，两位标注者得在 2 以上，而 32 篇以后基本在 2 以下。具体原因将在后面进行详细分

对比图,差异度,对比图,位标

困难度呈现出了较大下降，在 32 篇之前，两位标注者得在 2 以上，而 32 篇以后基本在 2 以下。具体原因将在后面进行详细分图 2.1 两位标注者困难度对比图分析困难度数据的差异性，以困难度值为 2 作为界限，将前 32 篇篇语料数据分开说明，可以得出，前 32 篇语料困难度与差异度的总，差异度较大的困难度数据也相对较大，差异度较小的困难度也相对数据较大，最大值达到 4.98，基本都在 2 以上。具体数据如下所示:
【学位授予单位】：北京信息科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：H15;TP183

【参考文献】