基于条件随机场的中文地名识别方法

发布时间：2018-01-16 23:18

本文关键词：基于条件随机场的中文地名识别方法　出处：《武汉大学学报(信息科学版)》2017年02期 　论文类型：期刊论文

【摘要】：在互联网迅速发展的现代化信息社会,大量地理信息都以非结构化的文本形式存在,而地名识别是挖掘这些地理信息的重要基础。目前已有的地名识别方法主要是从自然语言处理的角度来实现,并没有充分考虑到地名的构成和使用习惯等特征,造成识别率偏低或过拟合等问题。本文引入语言学相关知识,分析中文地名用字特征,在传统的地名专名+通名的结构上,更细致地划分地名的词素类型,总结归纳各词素类型的特征,将这些特征融入条件随机场的方法中,使地名识别问题转化为序列标注问题。并根据中文地名的特征,制定形式化规则,设计基于字的标注规范。在此基础上,设计中文地名特征模板,通过条件随机场模型训练和预测,识别自然语言文本中的中文地名。采用170万字的人民日报标注语料进行实验验证,结果表明本文方法对中文地名识别的召回率、准确率和F值分别达到92.69%、96.73%和94.67%,优于已有研究成果,能为地理信息科学领域的研究和应用提供更有效的地名服务。
[Abstract]:In the modern information society with the rapid development of the Internet, a great deal of geographic information exists in the form of unstructured text. At present, the existing methods of geographical name recognition are mainly realized from the perspective of natural language processing, and do not fully take into account the composition and usage habits of geographical names and other characteristics. This paper introduces linguistic knowledge, analyzes the characters of Chinese place names, and classifies the morpheme types of place names in more detail on the structure of traditional names. This paper summarizes and summarizes the characteristics of various morpheme types, integrates these features into the conditional random field method, and transforms the problem of place name recognition into a sequence tagging problem, and formulates formal rules according to the characteristics of Chinese place names. On the basis of this, the Chinese geographical names feature template is designed, which is trained and predicted by conditional random field model. To identify the Chinese place names in the natural language text. 1.7 million words of People's Daily tagging corpus is used for experimental verification. The results show the recall rate of this method to Chinese place names recognition. The accuracy rate and F value are 92.699.73% and 94.67% respectively, which are superior to the existing research results and can provide more effective service for geographical information science research and application.
【作者单位】：北京大学遥感与地理信息系统研究所;
【基金】：国家自然科学基金(41271385) 测绘遥感信息工程国家重点实验室开放研究基金((16)重02)~~
【分类号】：P281;P209
【正文快照】： 项目资助:国家自然科学基金(41271385);测绘遥感信息工程国家重点实验室开放研究基金((16)重02)。随着互联网技术的快速发展,网络成为信息传播交流的重要平台。在网络空间中每天都有大量的数据或信息产生,其中大部分都以自然语言文本的形式存在,如何从中挖掘出有用的信息成为

【相似文献】