基于柱搜索和神经网络的组块分析研究

发布时间：2020-09-21 19:43

　　组块分析是自然语言处理中的一项基本任务,其分析目标是识别出句子中某些句法相关、结构相对简单、不交叉、非嵌套的句子成分。自从将计算机用于解决自然语言处理问题后,组块分析也成为了语言学与计算机科学的一个交叉性研究课题。由于它可以作为机器翻译、完全句法分析、信息检索、信息抽取等诸多重要任务的前处理阶段,具有广泛的应用需求,故很受研究者的关注。尽管相关研究陆续被做出,但组块分析问题还远远没有被完全解决,它依然是自然语言处理领域内一个需要长期挑战的目标。随着组块分析处理技术从早期的主要基于规则慢慢转变到了后来的主要基于统计和机器学习,基于统计的相关技术成为了处理该任务的主要方法。其中,基于条件随机场等结构化模型来将其建模成一个序列化标注任务进行处理是目前最常用的手段。然而,这类模型在建模该任务时因为采用了马尔科夫假设以致在局部对一个词进行类型决策时无法利用到所有当前已标注词的标注类型信息,从而影响标注准确度,如何缓解这方面限制的研究一直在持续。考虑到上述缺点,本文尝试了基于状态转移的方法来对组块分析任务进行处理。同时,在每一步对状态转移的选择进行决策的过程中,本文使用能学习输入与输出之间非线性关系的神经网络来对各个合法的转移操作进行评估。本文的主要工作包括：首先,基于状态转移和简单单隐层前向反馈神经网络对问题进行建模,然后采用朴素的贪心策略来对模型进行训练和解码,构建了一个效果很强的基线组块分析系统；然后,为了更全局地对整个句子所对应的完整标注序列进行建模,本文接着在解码和训练的过程中采用了柱搜索的搜索策略以及对比散度学习方法来对模型进行学习,实验结果表明,在结合了柱搜索策略对句子进行更全局的建模后,模型在英文和中文的测试集上都比基线系统有了大幅度的提升；最后,针对简单单隐层前向反馈神经网络中所使用的神经网络过于简单、在对单个转移操作进行局部得分计算时对当前已标注信息以及远距离信息的利用还不够充分的缺点,本文将长短期记忆神经网络融入柱搜索框架中,从而更好地对整个候选序列进行得分计算。实验结果表明,在融入长短期记忆神经网络后,模型在英文和中文的测试集上都有所提升,达到了与当前最好结果相当的水平。从基线系统的构建到最后长短期记忆神经网络的融入,本文所用方法的效果在稳步提升,最后的柱搜索与长短期记忆神经网络结合的方法除在中文文本组块分析任务上达到与当前最好结果相当的结果之外,在另外三个任务上都取得了当前最好的结果。
【学位单位】：南京大学
【学位级别】：硕士
【学位年份】：2016
【中图分类】：TP391.1

【相似文献】