基于LSTM网络的序列标注中文分词法

发布时间：2018-02-04 11:06

本文关键词： 中文分词 LSTM 字嵌入自然语言处理　出处：《计算机应用研究》2017年05期 　论文类型：期刊论文

【摘要】：当前主流的中文分词方法是基于字标注的传统机器学习方法,但传统机器学习方法需要人为地从中文文本中配置并提取特征,存在词库维度高且利用CPU训练模型时间长的缺点。针对以上问题进行了研究,提出基于LSTM(long short-term memory)网络模型的改进方法,采用不同词位标注集并加入预先训练的字嵌入向量(character embedding)进行中文分词。在中文分词评测常用的语料上进行实验对比结果表明,基于LSTM网络模型的方法能得到比当前传统机器学习方法更好的性能;采用六词位标注并加入预先训练的字嵌入向量能够取得相对最好的分词性能;而且利用GPU可以大大缩短深度神经网络模型的训练时间;LSTM网络模型的方法也更容易推广并应用到其他自然语言处理中序列标注的任务。
[Abstract]:At present, the mainstream Chinese word segmentation method is the traditional machine learning method based on word tagging, but the traditional machine learning method needs to artificially configure and extract features from the Chinese text. There are some disadvantages such as high lexicon dimension and long time using CPU to train the model. An improved network model based on LSTM(long short-term memory is proposed. Tagging a set of different words and adding a pre-trained character embedding vector). Chinese word segmentation. In the Chinese word segmentation commonly used on the corpus, the experimental results show that. The method based on LSTM network model can get better performance than the traditional machine learning method. The better performance of word segmentation can be achieved by using six-word position tagging and adding pre-trained word embedding vector. Moreover, the training time of the deep neural network model can be greatly shortened by using GPU. The method of LSTM network model is also easy to popularize and be applied to other tasks of sequence tagging in natural language processing.
【作者单位】：上海大学通信与信息工程学院;中国科学院上海高等研究院;中国科学院大学;
【基金】：国家自然科学基金资助项目(61471231) 中国科学院先导资助项目(XDA06010301)
【分类号】：TP391.1
【正文快照】： 大学,北京100049)0引言在基于中文的自然语言处理中,由于不像英文中词与词之间有固定的自然分界符,所以对中文进行分词通常是处理中文信息任务的基础;同时由于中文自身的复杂性,中文分词也一直是中文信息处理任务的难题。中文分词是进行词性标注、命名实体识别、关键词提取和

【相似文献】