条件随机场图模型在《明史》词性标注研究中的应用效果探索

发布时间：2018-07-15 08:01

【摘要】：自然语言处理作为人工智能领域的一个重要分支,随着计算机信息处理技术的发展,已经取得较大进展.但是古汉语信息处理研究却相对滞后.本研究选择编年体体裁的《明史》作为研究语料,通过交叉检验方法比较了基于条件随机场的三种图模型(无边图模型、完全图模型以及嵌套图模型)在古汉语词性标注中的应用,发现完全图模型和嵌套图模型在《明史》的词性标注中的效果优于无边图模型,分词(Word Segmentation)在一定程度上可以提高古汉语词性标注的效率.另外,还发现基于条件随机场的图模型在分词前后对测试集中未登录词的词性标注效果均比较低.
[Abstract]:As an important branch of artificial intelligence, natural language processing has made great progress with the development of computer information processing technology. However, the study of ancient Chinese information processing lags behind. In this study, the chronological genre "Ming History" was selected as the research corpus, and three graph models based on conditional random field (boundless graph model) were compared by cross-checking method. The application of complete graph model and nested graph model in the tagging of part of speech in ancient Chinese shows that the complete graph model and nested graph model are more effective than the boundless graph model in the tagging of part of speech in the History of Ming Dynasty. Word Segmentation can improve the efficiency of part of speech tagging in ancient Chinese to some extent. In addition, it is found that the graph model based on conditional random field is less effective in tagging unrecorded words in test set before and after word segmentation.
【作者单位】： 复旦大学生命科学学院;
【分类号】：K248

【参考文献】

相关期刊论文 前3条

1 刘滔;雷霖;陈荦;熊伟;;基于MapReduce的中文词性标注CRF模型并行化训练研究[J];北京大学学报(自然科学版);2013年01期

2 邱莎;段玻;申浩如;丁海燕;;基于条件随机场的中文人名识别研究[J];昆明学院学报;2011年06期

3 汪青青;;先秦人名识别初探[J];文教资料;2009年18期

【共引文献】

相关期刊论文 前10条

1 白亚仁;略论李澄中《艮斋笔记》及其与《聊斋志异》的共同题材[J];蒲松龄研究;2000年01期

2 陈才训;;论李昌祺的庶吉士教育及其小说创作的炫才意识[J];蒲松龄研究;2009年04期

3 陈才训;时世平;;《剪灯余话》:“薇垣高议”——论李昌祺的庶吉士教育及其小说创作的风教意识[J];蒲松龄研究;2012年01期

4 刘斌;;明代“土达”及其归宿[J];阿坝师范高等专科学校学报;2008年04期

5 朱仰东;;“郭孝子寻亲”本事再考[J];阿坝师范高等专科学校学报;2011年02期

6 周志斌;;明清时期江苏农业中的雇佣劳动状况[J];安徽农业科学;2009年29期

7 于志勇;;内蒙古中西部地区历史文化期的气候变迁与沙化[J];安徽农业科学;2011年12期

8 陈联;明清时期的芜湖榷关[J];安徽师范大学学报(人文社会科学版);2000年01期

9 李琳琦;明清徽州的蒙养教育述论[J];安徽师范大学学报(人文社会科学版);2000年03期

10 陶明选,李勇;程演生《天启黄山大狱记》述评[J];安徽师范大学学报(人文社会科学版);2000年03期

相关会议论文 前10条

1 孟修;;土木之变与庚戌之变比较研究——朝贡体制框架下的明蒙关系新探[A];《中国长城博物馆》2011年第2期[C];2012年

2 金国平;吴志良;;“火者亚三”生平考略——传说与事实[A];明史研究论丛（第十辑）[C];2012年

3 梁尔铭;;明代乡试考官的选取制度[A];纪念《教育史研究》创刊二十周年论文集（3）——中国教育制度史研究[C];2009年

4 杨增强;;碑志所见明清时期商洛的地方教育[A];纪念《教育史研究》创刊二十周年论文集（14）——中国地方教育史研究（含民族教育等）[C];2009年

5 姚阿玲;;现实与非现实——中日男同性恋作品的比较[A];福建省外国语文学会2009年年会暨学术研讨会论文集[C];2009年

6 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年

7 李青唐;;《水浒》“杀嫂”故事的溯源与演绎[A];水浒争鸣（第十一辑）[C];2009年

8 靳光瑾;郭曙纶;肖航;章云帆;;语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》[A];语言文字应用研究论文集（Ⅱ）[C];2004年

9 朱亚非;;明初以德睦邻与劝和息争[A];中外关系史论文集第14辑——新视野下的中外关系史[C];2008年

10 戴祖旭;洪帆;;基于词性标记文法的文本信息隐藏算法[A];第四届中国软件工程大会论文集[C];2007年

相关博士学位论文 前10条

1 王淑英;多元文化空间中的湫神信仰仪式及其口头传统[D];西北民族大学;2010年

2 周勇进;清代地方道制研究[D];南开大学;2010年

3 王小燕;魏晋隐士美学研究[D];南开大学;2010年

4 谢华;《长物志》造园思想研究[D];武汉理工大学;2010年

5 邹春生;王化和儒化：9-18世纪赣闽粤边区的社会变迁和客家族群文化的形成[D];福建师范大学;2010年

6 戴天放;鄱阳湖流域农业环境变迁与生态农业研究[D];福建师范大学;2010年

7 陈曦;基于子串的文本分割与主题标注研究[D];武汉大学;2009年

8 王铁华;主人的居处：“看”视域的古典园林文化研究[D];中央美术学院;2011年

9 吴为民;汉语性别词研究[D];西南大学;2011年

10 宋佳;经方50味药物在明代13位医家中的用量规律研究[D];北京中医药大学;2011年

相关硕士学位论文 前10条

1 张迎芬;乐亭大鼓的民俗性探究[D];河北大学;2009年

2 杨国;试论倪瓒“聊以自娱”的绘画美学思想[D];哈尔滨师范大学;2010年

3 贾文芝;万历朝的市民运动[D];哈尔滨师范大学;2010年

4 冯海瑛;《万历野获编》分词理论与实践[D];广西师范学院;2010年

5 刘婧一;元代笔记分词理论与实践[D];广西师范学院;2010年

6 王东亮;基于条件随机场模型的中文人名识别的研究[D];大连理工大学;2010年

7 廖文平;基于CRF的中文地名识别研究[D];大连理工大学;2010年

8 林忠彬;浅析明代皇族宗室犯罪问题[D];辽宁师范大学;2010年

9 李雅兰;归有光文学散论[D];湘潭大学;2010年

10 刘飞;陈维崧诗歌研究[D];湘潭大学;2010年

【二级参考文献】

相关期刊论文 前8条

1 冯元勇;孙乐;张大鲲;李文波;;基于小规模尾字特征的中文命名实体识别研究[J];电子学报;2008年09期

2 贾品贵;杨一平;卢朋;;基于统计方法的中文姓名识别研究[J];计算机工程与应用;2006年31期

3 洪铭材;张阔;唐杰;李涓子;;基于条件随机场(CRFs)的中文词性标注方法[J];计算机科学;2006年10期

4 王敏;郑家恒;;基于改进的隐马尔科夫模型的汉语词性标注[J];计算机应用;2006年S2期

5 毛婷婷;李丽双;黄德根;;基于混合模型的中国人名自动识别[J];中文信息学报;2007年02期

6 孙茂松，黄昌宁，高海燕，，方捷;中文姓名的自动辨识[J];中文信息学报;1995年02期

7 俞鸿魁;张华平;刘群;吕学强;施水才;;基于层叠隐马尔可夫模型的中文命名实体识别[J];通信学报;2006年02期

8 严军;《左传》姓氏相关问题的探索[J];浙江学刊;1994年04期

相关会议论文 前2条

1 张佳宝;周斌;吴泉源;;基于Hadoop的并行化命名实体识别技术研究与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

2 史树敏;王志强;周浪;冯冲;黄河燕;;基于条件随机域的中文命名实体识别[A];第三届学生计算语言学研讨会论文集[C];2006年

本文编号：2123402