一种神经范畴标注模型

发布时间：2017-08-03 18:00

  本文关键词：一种神经范畴标注模型

  更多相关文章： 范畴标注 分布式表示 神经语言模型 束搜索

【摘要】：范畴标注是组合范畴语法解析中的子任务之一,可用于提高解析器的效率和性能.传统的最大熵模型需要手工定义特征模板,神经网络则通过隐含层学习到离散特征的分布式表示,从而自动提取分类需要的特征.引入该模型来解决该问题,在原有神经语言模型的基础上加入了向量化的词性表示层和范畴表示层,并通过反向传播自动更新词向量、词性向量和范畴向量,学习到它们的分布式表示.此外,在预测时采用束搜索的序列解码方式来引入标签之间的依赖信息.实验结果表明,这两种改进都能提升模型的性能,使其在范畴标注任务上比传统的最大熵模型效果要好(提升1%).
【作者单位】： 模式识别国家重点实验室(中国科学院自动化研究所);中国科学院大学;中国科学院脑科学与智能技术卓越创新中心;
【关键词】： 范畴标注 分布式表示 神经语言模型 束搜索
【基金】：国家自然科学基金(61333018) 中国科学院战略性先导科技专项(XDB02070007)~~
【分类号】：TP183;TP391.1
【正文快照】： 组合范畴语法(combinatory categorical grammar,简称CCG)是一种类型驱动的词汇化语法,该语法能够精确 地定位每个词的范畴,从而挖掘出一个句子的深层依赖关系,如谓词论元关系、概念复合关系、事件组合关系等[1].自动范畴标注是设计组合范畴语法解析器时面临的一个重要问题,，

本文编号：615589