基于N-gram模型的中文分词前k优算法

发布时间：2017-08-28 19:14

  本文关键词：基于N-gram模型的中文分词前k优算法

  更多相关文章： 中文输入法 N-gram模型 k优路径 A*算法

【摘要】：本文首先从中文输入法应用的角度出发,在阐述了N-gram模型的基础上对中文输入法的分词进行了详细的剖析,进一步根据训练数据的稀疏问题,使用Back-off模型进行数据的平滑处理。针对系统词库数量受限的问题,在构建词图的前提下,使用基于A*的算法求解前k优路径。最后实验结果表明,本文所使用的基于A*的算法与改进Dijkstra算法、基于DP的算法等常用的求前k优路径的算法相比,具有较高的效率和准确率,为中文分词及求取k-best算法的研究开拓了新的思路。
【作者单位】： 东北林业大学信息与计算机工程学院;
【关键词】： 中文输入法 N-gram模型 k优路径 A*算法
【基金】：中央高校基本科研业务费专项资金(2572015DY07) 黑龙江省自然科学基金(F201347) 哈尔滨市科技创新人才专项资金(2013RFQXJ100) 国家自然基金(61300098) 教育部大学生创新训练计划项目(201610225126)
【分类号】：TP391.14
【正文快照】： 0引言中文输入法(Chinese input method)是指为了将汉字输入计算机或手机等电子设备而采用的编码方法,是中文信息处理的重要技术。时下的中文输入法可分为基于音标(Phonetic-based)和基于字形(Shape-based)两种类型[1],本文使用的方法则属于第一类。一个具有整句输入功能的输

【相似文献】

中国期刊全文数据库 前10条

1 ;手机中文输入法评测报告[J];数字通信;2001年07期

2 西贝;不关闭中文输入法快速输入英文[J];电脑爱好者;2003年11期

3 ;新一代普及型中文输入法——九方[J];电脑采购周刊;2003年02期

4 王霞;;在线中文输入法随叫随到[J];电脑迷;2006年01期

5 流行语;;带你认识手机输入法[J];电脑爱好者(普及版);2007年12期

6 黄德强;丁伟;;嵌入式中文输入法解决方案[J];科技创新导报;2009年21期

7 王志军;;QQ中自动调用QQ输入法[J];电脑迷;2010年19期

8 陈禾;中文系统和中文输入法[J];天津科技;1994年04期

9 贺全荣;;百度中文输入法 让输入更快速[J];网友世界;2010年Z2期

10 胡遇杰,宋军强,杨煜普;自定义中文输入法的自动安装[J];计算机系统应用;2000年12期

中国重要会议论文全文数据库 前7条

1 麦世基;;旨在中文输入法的国际化 《华升码》(第二版)[A];中国中文信息学会汉字编码专业委员会第九届年会暨学术研讨会论文集[C];2011年

2 黄金富;;中文输入法的“傻瓜”境界——《智能手机码》简介[A];辉煌二十年——中国中文信息学会二十周年学术会议论文集[C];2001年

3 曾养志;曾巍;曾嵘;;最新一代中文输入法-汉字词语码编码技术[A];中国中文信息学会汉字编码专业委员会第八届年会、中国计算机学会中文信息技术专业委员会第六届年会暨汉字输入技术与应用研讨会论文集[C];2002年

4 许丹青;刘奕群;岑荣伟;马少平;茹立云;杨磊;;基于日志分析的中文输入法用户行为研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年

5 张玮;孙乐;冯元勇;吕元华;;一种结合分类模型的中文输入法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

6 余泳;;基于XIM的简体中文输入法FCITX[A];中国工程物理研究院第七届电子技术青年学术交流会论文集[C];2005年

7 吴克忠;;汉语编程技术及其新进展[A];中文信息处理技术研讨会论文集[C];2004年

中国重要报纸全文数据库 前10条

1 侯涛;国内手机中文输入法期待突破[N];中国电子报;2005年

2 飞鱼;快速切换常用中文输入法[N];中国电脑教育报;2003年

3 侯涛;手机中文输入法成为用户“关切之最”[N];通信产业报;2005年

4 本报记者 杨谷;中文输入法还需要发明吗[N];光明日报;2001年

5 本报记者 刘菲;中文输入法：指尖上的竞争[N];人民日报海外版;2014年

6 ;不同手机中文输入法大比拼[N];中国质量报;2000年

7 电脑虎;指尖流彩——中文输入法[N];中国电脑教育报;2005年

8 本报记者 韩丹;手机中文输入法相关标准有待完善[N];经济参考报;2008年

9 竹 文;二笔软件火爆科博会[N];经济参考报;2003年

10 本报记者 郭庆;全音输入法助外国人学汉语[N];科技日报;2003年

中国硕士学位论文全文数据库 前10条

1 周接富;中文输入法的商务模式创新[D];厦门大学;2009年

2 包艳;iOS中文输入法的设计与实现[D];苏州大学;2015年

3 柴正;基于CPA的中文输入法用户词库提取技术研究与应用[D];东北大学;2014年

4 杨少华;中文输入法若干相关问题研究[D];上海交通大学;2013年

5 童学才;基于MiniGUI的嵌入式系统中文输入法设计[D];武汉科技大学;2007年

6 陶东成;基于Linux和XIM协议的中文输入法服务器的实现及其应用[D];苏州大学;2004年

7 秦静;渔业船用电台人机交互界面设计与实现[D];西安电子科技大学;2010年

8 王丽君;基于SCIM架构的输入法的设计与实现[D];苏州大学;2011年

9 黄超;基于Qt的嵌入式GUI的研究与实现[D];吉林大学;2011年

10 代贤俊;面向写作辅助的中文智能输入法系统[D];哈尔滨工业大学;2014年

，

本文编号：749037