基于双词典机制的中文分词系统设计

发布时间：2019-10-24 10:50

【摘要】：中文分词是中文信息处理的基础技术之一,被广泛应用于搜索引擎、机器翻译、自动分类、自动校对、语音合成等方面。阐述了一种基于双词典机制的中文分词系统的设计。该设计中,构造了标准词典、临时词典和临时高频词表组成的双词典机制作为分词基础,应用了正向最大匹配法和逆向最大匹配法进行分词,提出了基于双词典机制的歧义处理方法。实验表明了此设计的可行性和优越性。
【作者单位】： 中北大学电子与计算机科学技术学院;
【分类号】：TP391.1

【相似文献】

相关期刊论文 前10条

1 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期

2 蔡勇智;基于最大匹配分词算法的中文词语粗分模型[J];福建电脑;2005年09期

3 王坚,赵恒永;专业搜索引擎的实现与研究——中文分词算法[J];电子科学技术评论;2005年03期

4 曾华琳,李堂秋,史晓东;一种基于提取上下文信息的分词算法[J];计算机应用;2005年09期

5 陈小茵;;基于自然语言的自动答疑系统设计[J];南京广播电视大学学报;2005年04期

6 战疆;冯月利;王珊;;PostgreSQL中文全文索引技术研究与实现[J];华中科技大学学报(自然科学版);2005年S1期

7 陈刚;卢炎生;;BBS搜索引擎设计与实现[J];微计算机信息;2006年18期

8 许敏;周伟灿;;CAD电子图管理系统中全文检索的研究[J];微计算机信息;2006年19期

9 王华栋;饶培伦;;基于搜索引擎的中文分词评估方法[J];情报科学;2007年01期

10 山岚;赵英;徐耀;王坚;张莹莹;;专业搜索引擎系统的设计与实现[J];微计算机信息;2007年06期

相关会议论文 前10条

1 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用（SCA·2011）学术会议论文摘要集[C];2011年

2 韩冬煦;常宝宝;;基于边界熵和卡方统计量的多领域适应性中文分词方法[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

3 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

4 张梅山;邓知龙;车万翔;刘挺;;统计与词典相结合的领域自适应中文分词[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

5 李寿山;黄居仁;;基于词边界分类的中文分词方法[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

6 姜文斌;王志洋;刘群;吕雅娟;;基于马尔可夫间隔标注的中文分词算法[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

7 刘东生;尹宝生;张桂平;徐立军;苗雪雷;;面向专利文献的中文分词技术的研究[A];第五届全国信息检索学术会议论文集[C];2009年

8 彭辉;翟翔;;AutoCAD 2008自动翻译软件研发[A];全国冶金自动化信息网2010年年会论文集[C];2010年

9 王屹林;朱慕华;朱靖波;;针对SVM中文分词特性的个性化后处理设计[A];第三届学生计算语言学研讨会论文集[C];2006年

10 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

相关重要报纸文章 前2条

1 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年

2 高雪娟;企业搜索要为决策服务[N];中国计算机报;2006年

相关博士学位论文 前10条

1 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年

2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年

3 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年

4 孙道军;文本挖掘预处理相关基础技术分析与应用研究[D];北京邮电大学;2008年

5 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年

6 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年

7 张京楣;基于统计方法的文本风格分析研究[D];山东大学;2012年

8 张友华;面向智能服务的Web内容计算研究与应用[D];中国科学技术大学;2006年

9 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

10 计峰;自然语言处理中序列标注模型的研究[D];复旦大学;2012年

相关硕士学位论文 前10条

1 崔明明;基于机器学习的中文分词的研究与实现[D];沈阳工业大学;2009年

2 杨彦;基于Hash结构的机械统计分词系统[D];中南大学;2005年

3 马忠宝;基于支持向量机的中文文本分类系统研究[D];武汉理工大学;2006年

4 戚晶;基于RSS的搜索引擎的研究与实现[D];吉林大学;2006年

5 李宏波;综合字典和统计分析的中文分词系统的研究与实现[D];武汉理工大学;2010年

6 何爱元;基于词典和概率统计的中文分词算法研究[D];辽宁大学;2011年

7 李小龙;SSBS中文分词处理系统的研究[D];湖北工业大学;2010年

8 褚敬年;面向企业信息检索的中文分词系统的研究与实现[D];东北大学;2008年

9 全海金;基于用户行为及语义相关实时更新的用户兴趣模型[D];西南师范大学;2005年

10 翟凤文;统计与字典相结合的中文分词[D];吉林大学;2005年

，

本文编号：2552520