统计与规则相结合的维吾尔语人名识别方法

发布时间：2018-11-18 22:14

【摘要】：命名实体识别(Named entity recognition,NER)是自然语言处理(Natural language processing,NLP)中重要的任务,其中人名实体是主要的识别对象之一.本文从维吾尔语黏着性特点出发,从词干、音节、字符串三个角度对维吾尔语单词进行拆分,获得更小的语言单元,并把切分的新单元作为特征加入到条件随机场(Conditional random field,CRF)中,明显缓解了数据稀疏的影响,取得了比以单词为基本单元的人名识别方法更好的性能.同时还从维吾尔语中汉族人名的特点出发,提出了基于规则的维吾尔语中汉族人名的识别方法,最终利用统计和规则相结合的方法进一步提高了识别的准确率.实验结果表明,该方法人名识别的准确率、召回率和F1值分别达到了87.47%、89.12%和88.29%.
[Abstract]:Named entity recognition (Named entity recognition,NER) is an important task in natural language processing (Natural language processing,NLP). In this paper, the Uygur words are split from stem, syllable and string according to the adhesive characteristics of Uygur language, and a smaller language unit is obtained. The new unit of segmentation is added to the conditional random field (Conditional random field, as a feature. In CRF, the effect of data sparsity is alleviated obviously, and the performance of the method is better than that of the human name recognition method based on words. At the same time, based on the characteristics of Han nationality names in Uygur language, a rule-based recognition method of Han nationality names in Uygur language is proposed. Finally, the accuracy of recognition is further improved by combining statistics with rules. The experimental results show that the accuracy, recall rate and F1 value of this method are 87.47% and 88.29% respectively.
【作者单位】： 新疆大学信息科学与工程学院;中国科学院自动化研究所模式识别国家重点实验室;新疆大学软件学院;
【基金】：国家自然科学基金(61562081) 新疆高技术研究发展计划(201312103)资助~~
【分类号】：TP391.1

【相似文献】

相关期刊论文 前10条

1 ;中央电台新疆维吾尔语编辑部开工建设[J];中国广播;2010年06期

2 盛朝川;;维吾尔语专线广播[J];新闻记者;1984年03期

3 艾山·吾买尔;吐尔根·依步拉音;;基于最大熵的维吾尔语句子边界识别模型[J];计算机工程;2010年06期

4 王昆仑;张贯虹;吐尔洪江·阿布都克力木;;维吾尔语元音的声频特性分析和识别[J];中文信息学报;2010年02期

5 地里木拉提.吐尔逊;艾斯卡尔.艾木都拉;;维吾尔语中清化元音的实验语音学研究[J];中文信息学报;2010年05期

6 丁玉忠;吾守尔·斯拉木;那斯尔江·吐尔逊;;基于垃圾模型的维吾尔语关键词识别[J];现代计算机(专业版);2011年13期

7 塔世根·加帕尔,帕尔哈提·艾孜木,伊力亚斯·吐尔逊;维吾尔语地理学术语规范表达的必要性和紧迫性[J];术语标准化与信息技术;1998年04期

8 阿丽叶.阿布列孜;;中央人民广播电台维吾尔语频道《生活》栏目探析[J];新闻世界;2014年05期

9 哈妮克孜·伊拉洪;祖丽皮亚·阿曼;艾斯卡尔·艾木都拉;;维吾尔语单音节词复辅音声学分析[J];中文信息学报;2009年04期

10 刘改霞;;从《维吾尔语会话300句速成》谈选题策划的特性[J];新疆新闻出版;2010年05期

相关会议论文 前10条

1 吾买尔江·库尔班;阿里甫·库尔班;;维吾尔语框架语义知识库语义角色描述体系研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

2 阿里甫·库尔班;吾买尔江·库尔班;尼加提·阿不都肉苏力;;维吾尔语框架语义网的数据库结构的设计[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

3 古丽娜尔·艾力;买买提玉素甫·苏来曼;;维吾尔语语音数据自动标注[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

4 阿布都热依木·热合曼;艾山·吾买尔;吐尔根·依布拉音;帕里旦·吐尔逊;哈里旦木·阿布都克里木;;维吾尔语句法树库标注体系[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 艾斯卡尔·艾木都拉;;维吾尔语鼻音的声学特征分析[A];第九届中国语音学学术会议论文集[C];2010年

6 梁洁;杨新璐;;维吾尔语韵律层级边界感知及其声学特征研究[A];第九届中国语音学学术会议论文集[C];2010年

7 阿依克孜.卡德尔;开沙尔.卡德尔;吐尔根.依布拉音;;面向自然语言信息处理的维吾尔语名词形态分析研究[A];第二届全国学生计算语言学研讨会论文集[C];2004年

8 吾守尔.斯拉木;马欢;;维吾尔语文语转换系统的研究[A];第十届全国少数民族语言文字信息处理学术研讨会论文集[C];2005年

9 易斌;;维吾尔语元音/y/的声学特征分析[A];第十届全国少数民族语言文字信息处理学术研讨会论文集[C];2005年

10 艾斯卡尔·艾木都拉;赛尔达尔·雅力坤;祖丽皮亚·阿曼;地里木拉提·吐尔逊;;维吾尔语浊塞音的声学特征分析[A];第十二届全国人机语音通讯学术会议（NCMMSC'2013）论文集[C];2013年

相关重要报纸文章 前10条

1 记者井波、实习生郁萌;维吾尔语水平考试系统进入研发阶段[N];新疆日报(汉);2010年

2 特约记者 蔺高峰 通讯员 武瑞;女法医“西日古丽”[N];喀什日报(汉);2010年

3 本报记者 任红芳;阿克苏电视台维吾尔语译制中心录音棚投用[N];阿克苏日报;2010年

4 一东;以多语种服务打造沟通新渠道[N];亚洲中心时报(汉);2011年

5 自治区地方志编委会、自治区党委驻伽师县工作队 张坚义;语言架起沟通心灵的桥梁[N];新疆日报(汉);2012年

6 刘冰;从王蒙流利的维吾尔语想到的[N];中国民族报;2013年

7 记者 江亚平;搞分裂慌不择言,热比娅谎话连篇[N];新华每日电讯;2009年

8 陈学迅;王蒙谈维吾尔民族语言文化[N];新疆日报(汉);2005年

9 记者 王新红;中央人民广播电台新疆维吾尔语编辑部工程开建[N];新疆日报(汉);2010年

10 记者 达·照日格图;我国首部蒙古文字手机研制成功[N];内蒙古日报(汉);2006年

相关博士学位论文 前10条

1 阿布都那扎尔·阿布都拉;维吾尔语构词词缀历时比较研究[D];中央民族大学;2009年

2 巴克力·阿卜杜热西提;古代维吾尔语医学文献的语文学研究[D];中央民族大学;2013年

3 倪宏鸣;维吾尔语和阿美语语言特征对比分析[D];中央民族大学;2007年

4 魏玉清;维吾尔语和谐现象的音系学研究[D];华东师范大学;2010年

5 尼加提·苏皮;维吾尔语伊犁土语研究[D];中央民族大学;2010年

6 斯迪克江·伊布拉音;现代维吾尔语中的比喻研究[D];华东师范大学;2008年

7 阿克里·先木西;维吾尔语表语—系动词谓语结构[D];中央民族大学;2012年

8 吐尔逊·卡得;维吾尔语柯坪土语研究[D];中央民族大学;2011年

9 木再帕尔（Muzappar Abdurusul）;论维吾尔语的名词化短语[D];中央民族大学;2007年

10 席艳玲;维吾尔语失语症特点及其检查法的标准化研究和维吾尔族、汉族正常人脑激活区差异性的fMRI研究[D];新疆医科大学;2013年

相关硕士学位论文 前10条

1 魏文娟;改革开放以来维吾尔语新词研究[D];新疆大学;2008年

2 阿孜古丽·阿不都热西提;维吾尔语伊犁土语中的借词研究[D];西北民族大学;2008年

3 张红;探析维吾尔语中茶文化[D];新疆师范大学;2012年

4 热依拉·艾纰漏拉;汉语—维吾尔语颜色词翻译对比研究[D];中央民族大学;2013年

5 孔席梅;维吾尔语和回族话中借词的分析比较[D];新疆师范大学;2013年

6 吾斯曼·艾买尔(Osman Emer);《五体清文鉴》中的近代维吾尔语动物名称研究[D];伊犁师范学院;2015年

7 玛依热·吾司曼;汉维动力情态对比研究[D];中央民族大学;2015年

8 钱悦;汉语“V1着V2”结构与维吾尔语相关表达方式对比研究[D];中央民族大学;2015年

9 奇曼古丽·许库力;现代维吾尔语同义词研究[D];中央民族大学;2015年

10 田媛玮;汉语—维吾尔语五官词汇的对比研究[D];中央民族大学;2015年

，

本文编号：2341429