Bi-LSTM-CRF模型在中文语法错误诊断中的应用研究

发布时间：2020-03-28 02:57

【摘要】：随着中国国际地位的日益提高,汉语学习对于国际学习者的发展变得越来越重要。本文探讨的中文语法错误诊断(CGED)任务的目标是开发一款计算机自动辅助工具并通过该工具协助第二语言为汉语的外国学习者更好地学习中文,同时减轻汉语教师的辅导压力。中文语法错误诊断研究旨在建立一个模型自动检测学习者在汉语写作过程中所犯的错误及错误所在位置。本研究中错误可分成四类,分别是:用词冗余、词语缺失、词语选择错误、词语排序错误。中文语法错误诊断研究的难点在于:该任务涉及到自然语言处理的不同层面信息,将涉及汉语的词法分析和句法分析等,因此需要多方面统筹考虑以辅助研判。此外,中文中包含了丰富的语言知识,语法表示形式多样化,当判断一句话中是否包含错误以及何种类型的错误时,往往还需要引入外部知识。鉴于此,本文提出采用pyltp进行数据预处理,pyltp的个性化分词特点更适合该任务,这是因为中文语法错误诊断的数据集大多来自不同外国学生写的中国作文,其中涉及众多不同主题。个性化分词则可在一定程度上缓解主题依赖性,当面对新主题时,用户只需标注少量数据即可,个性化分词会在原有数据基础上进行增量训练,从而达到既利用原来主题的数据信息,又兼顾目标主题的特殊性。此外,本文提出利用双向长短期记忆网络(Bi-LSTM)来建模,能更好地利用双向的上下文信息判断句子是否有误。在此基础上,我们将中文语法错误诊断视为一种特殊的序列标注任务来求解。针对序列标注问题,条件随机场(CRF)模型比传统的隐马尔科夫模型(HMM)和最大熵马尔科夫模型(MEMM)有更好的表现,且Bi-LSTM模型还可缓解CRF模型中人工特征选择及难以捕获长距离上下文信息依赖的不足。于是,本文进一步提出将Bi-LSTM和CRF模型结合起来。其中,Bi-LSTM用于获取两个方向上的长距离信息,然后将信息提供给CRF模型进行序列标注。在该任务开放标准评测数据集上的实验结果表明本文提出的Bi-LSTM-CRF模型在中文语法错误诊断任务中的实际效果比单独使用Bi-LSTM模型或CRF模型均有显著提高。
【图文】：

结构图,嵌入层,结构图,神经网络模型

３．３．１邋Ｂｉ－ＬＳＴＭ神经网络模型介绍逡逑如下图所示，单一错误类型中文语法错误诊断（ＣＧＥＤ）的Ｂｉ－ＬＳＴＭ神经网络逡逑模型的体系结构可以通过以下三个专门的层来表征，如图３．３所示：（丨）嵌入层逡逑（２）编码层（３）解码层逡逑㈧丨ｐ丨，－丨／，，如’逡逑，逦—逦￣Ｎ逡逑Ｌｏｏｋｕｐ邋Ｔａｂｌｅ逦／逦ｔ逦＇逡逑ＩＨ＋ｆｆｌ邋Ｉｂｇｆｆｌ逡逑、逦逦ｙ逡逑逦＇逦＞邋ｃｏｎｃａｔｅｎａｔｅ逡逑Ｂｉ－ＬＳＴＭ逡逑逦＞｜邋ＬＳＴＭ（ｆ）邋｜￣￣逦？逡逑逦逦＼——ＬＳＴＭ（ｂ］｜—逡逑ｖ逦＾逡逑六，…，…ｍ＿．ｍ邋！邋１１逡逑、邋＾邋＾邋＇、逡逑Ｌｉｎ，ｒ—邋［Ｍ邋ＩＩ邋ＩＩ邋Ｎ逡逑图３．３单错误型ＣＧＥＤ的Ｂｉ－ＬＳＴＭ神经网络模型体系结构逡逑２０逡逑

体系结构图,神经网络模型,体系结构,嵌入层

ｉ逡逑Ｗ邋Ｖｉ邋Ｖ＾Ｖａ邋……Ｖｎ邋＾１逡逑图３．２嵌入层结构图逡逑３．３邋Ｂｉ－ＬＳＴＭ邋层逡逑３．３．１邋Ｂｉ－ＬＳＴＭ神经网络模型介绍逡逑如下图所示，单一错误类型中文语法错误诊断（ＣＧＥＤ）的Ｂｉ－ＬＳＴＭ神经网络逡逑模型的体系结构可以通过以下三个专门的层来表征，如图３．３所示：（丨）嵌入层逡逑（２）编码层（３）解码层逡逑㈧丨ｐ丨，－丨／，如’逡逑，逦—逦￣Ｎ逡逑Ｌｏｏｋｕｐ邋Ｔａｂｌｅ逦／逦ｔ逦＇逡逑ＩＨ＋ｆｆｌ邋Ｉｂｇｆｆｌ逡逑、逦逦ｙ逡逑逦＇逦＞邋ｃｏｎｃａｔｅｎａｔｅ逡逑Ｂｉ－ＬＳＴＭ逡逑逦＞｜邋ＬＳＴＭ（ｆ）邋｜￣￣逦？逡逑逦逦＼——ＬＳＴＭ（ｂ］｜—逡逑ｖ逦＾逡逑六，…，…ｍ＿．ｍ邋！邋１１逡逑、邋＾邋＾邋＇、逡逑Ｌｉｎ，ｒ—邋［Ｍ邋Ｉ
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：H195;TP391.1

【参考文献】