SVM词库智能更新技术在搜索分类中的应用

发布时间：2017-11-23 17:07

  本文关键词：SVM词库智能更新技术在搜索分类中的应用

  更多相关文章： 支持向量机 词库智能更新 语法库 搜索引擎 主题分类

【摘要】：为了研究搜索引擎的文本预分类准确率,从词库对搜索引擎的影响角度出发,提出了基于支持向量机的词库智能更新技术。利用网络爬虫丰富的数据源作为生僻词来源,用基础词库结合语法库对网络爬虫获取的文本语料进行分析处理,同时不断充实临时词库;利用支持向量机判定文本的所属类别,确定生僻词的类别标识;根据临时词库中的生僻词的统计数量,将生僻词加入到词库,达到扩大词库的目的。将扩展后的词库应用于搜索引擎的搜索意图识别实验中,实验结果表明,扩展后的词库可以减少句子拆分的错误率并提高搜索主题分类的准确率。
【作者单位】： 贵州师范大学贵州省信息与计算科学重点实验室;
【基金】：贵州省工业攻关基金项目(黔科合GY字[2008]3009) 贵州省科学技术基金项目(黔科合J字[2011]2213) 贵州师范大学2012年度自然科学类学生科研基金重点项目(201219)
【分类号】：TP391.1
【正文快照】： 0引言如何提高用户搜索的命中率以及准确识别用户的搜索意图,已经成为目前的研究热点[1],而其基础性研究在于词库,词库更新技术也是中文信息处理相关研究的基础性技术。如词库的规模影响搜索引擎的意图预测器的效果、文本识别中文字识别效果的好坏同样受制于词库、舆情监控系

【参考文献】

中国期刊全文数据库 前8条

1 姜映映;田丰;王绪刚;戴国忠;;基于模板匹配和SVM的草图符号自适应识别方法[J];计算机学报;2009年02期

2 姚徐;郭淑妮;李永宏;于洪志;;多级索引的藏语分词词典设计[J];计算机应用;2009年S1期

3 周戈;;一种基于反向文本频率互信息的文本挖掘算法研究[J];计算机应用研究;2012年02期

4 郑耿忠;;自动分词算法在智能答疑系统中的应用研究[J];计算机工程与设计;2007年09期

5 都菁;熊海灵;;基于论坛语料识别中文未登录词的方法[J];计算机工程与设计;2010年03期

6 张清亮;徐健;;网络情感词自动识别方法研究[J];现代图书情报技术;2011年10期

7 刘芳芳;王晶;沈奇威;;一种引入动态词库更新的中文分词架构[J];计算机系统应用;2013年03期

8 QI Fumin;XIE Xiaoyao;JING Fengxuan;;Application of Improved PSO-LSSVM on Network Threat Detection[J];武汉大学自然科学学报(英文版);2013年05期

【共引文献】

中国期刊全文数据库 前10条

1 佟欣;韩玉琢;;房产自动应答系统的分析与设计[J];赤峰学院学报(自然科学版);2010年01期

2 周蕾;朱巧明;;词结合型未登录词识别方法研究[J];常熟理工学院学报;2012年04期

3 吴静;景凤宣;;智能信息处理中的模式识别[J];电脑知识与技术;2013年30期

4 贺海涛;郑山红;李万龙;彭馨仪;;基于关联规则和语义规则的本体概念提取研究[J];吉林大学学报(信息科学版);2014年06期

5 王炼;朱宏泉;;网络搜索能帮助解释IPO抑价之谜吗?——基于中国A股市场的实证分析[J];系统工程;2014年11期

6 陈涛;刘庆龙;;智慧旅游背景下的大数据应用研究:以旅游需求预测为例[J];电子政务;2015年09期

7 党德鹏;孟真;;基于支持向量机的信息安全风险评估[J];华中科技大学学报(自然科学版);2010年03期

8 陈翔;陈鹏;;基于改进模板匹配的目标跟踪算法[J];计算机应用;2011年S2期

9 张海龙;谢强;丁秋林;;基于贝叶斯网络的草图识别研究[J];中国制造业信息化;2012年01期

10 张瑞霞;杨国增;闫新庆;;基于知网的汉语普通未登录词语义分析模型[J];计算机应用与软件;2012年08期

中国重要会议论文全文数据库 前2条

1 马立玲;姬利军;王军政;;正交判别的线性局部切空间排列结合SVM的门牌识别[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

2 Dai Wei;Peng Geng;Liu Ying;Li Shuaipeng;;A Prediction Study on E-commerce Sales Based on Structure Time Series Model and Web Search Data[A];第26届中国控制与决策会议论文集[C];2014年

中国博士学位论文全文数据库 前8条

1 陈鹏;目标跟踪与背景减除算法研究[D];浙江大学;2010年

2 耿玉磊;基于系列模板耦合的三维服装款式创意设计方法研究[D];浙江大学;2010年

3 刘秀丽;飞秒激光随机扫描测控神经回路的方法研究[D];华中科技大学;2009年

4 黄建年;农业古籍的计算机断句标点与分词标引研究[D];南京农业大学;2009年

5 陈浩;Web搜索的用户兴趣与智能优化研究[D];中南大学;2012年

6 肖奕;地质数据信息服务参考模型及关键技术研究[D];中国地质大学（北京）;2013年

7 杨全;基于表观建模的中国手语识别技术研究[D];西北大学;2013年

8 魏建榕;经济物理学中的金融数据分析：统计与建模[D];复旦大学;2013年

中国硕士学位论文全文数据库 前10条

1 曾艳艳;基于RBF神经网络的手绘电气草图识别研究[D];湘潭大学;2009年

2 王耀;规定格式文字书写练习质量评价研究[D];湘潭大学;2010年

3 魏莎莎;一种中文未登录词识别及词典设计新方法[D];西南大学;2011年

4 孙凯;自动答疑系统中的问句理解与个性化推荐算法研究[D];南京信息工程大学;2011年

5 徐西孟;基于OODA决策循环的主题发现技术的研究与设计[D];济南大学;2011年

6 曾亮;基于SVM的入侵检测性能改进研究[D];中南民族大学;2010年

7 闫晓强;应变片的特征提取和边缘检测算法研究[D];宁波大学;2011年

8 李路;基于语义的多领域草图符号识别研究[D];南京航空航天大学;2010年

9 张婷婷;道路交通事故现场图绘制系统研究[D];哈尔滨工业大学;2011年

10 胡正;基于垂直搜索技术的网站分析系统的研究与实现[D];西南交通大学;2008年

【二级参考文献】

中国期刊全文数据库 前10条

1 赵成龙,薛欣;基于WEB的智能答疑系统的设计与实现[J];安阳师范学院学报;2004年02期

2 梁晓弘;杨文安;;分词技术在信息处理中的研究综述[J];电脑知识与技术(学术交流);2007年22期

3 胡佳妮,徐蔚然,郭军,邓伟洪;中文文本分类中的特征选择算法研究[J];光通信研究;2005年03期

4 张雪芹;顾春华;吴吉义;;基于约简支持向量机的快速入侵检测算法[J];华南理工大学学报(自然科学版);2011年02期

5 马秀丽;焦李成;;基于分水岭-谱聚类的SAR图像分割[J];红外与毫米波学报;2008年06期

6 刘琚;孙建德;;ICA和镜头分割结合的盲视频水印方案[J];中国科学E辑:信息科学;2005年12期

7 韩家炜,孟小峰,王静,李盛恩;Web挖掘研究[J];计算机研究与发展;2001年04期

8 朱明,王俊普,蔡庆生;一种最优特征集的选择算法[J];计算机研究与发展;1998年09期

9 谭琼,史忠植;分词中的歧义处理[J];计算机工程与应用;2002年11期

10 翟伟斌;周振柳;蒋卓明;许榕生;;汉语分词词典设计[J];计算机工程与应用;2007年01期

中国博士学位论文全文数据库 前2条

1 欧阳建权;压缩域体育视频摘要技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

2 冀中;基于多模态信息的新闻视频内容分析技术研究[D];天津大学;2007年

中国硕士学位论文全文数据库 前3条

1 朱代华;基于分词技术的智能答疑系统[D];重庆大学;2004年

2 张婵;新闻视频自动摘要生成算法研究[D];西安电子科技大学;2005年

3 时阳;新闻视频中文本检测和定位技术的研究[D];北京邮电大学;2009年

【相似文献】

中国期刊全文数据库 前10条

1 杨强,吴中福,余平,钟将;基于正反馈的支持向量机[J];重庆大学学报(自然科学版);2004年05期

2 孙蕾,周明全,李丙春;一种非平衡分布数据的支持向量机新算法[J];计算机应用;2004年12期

3 黄勇;郑春颖;宋忠虎;;多类支持向量机算法综述[J];计算技术与自动化;2005年04期

4 杨强,吴中福,余萍,钟将;一种新型支持向量机[J];重庆大学学报(自然科学版);2005年02期

5 张猛,付丽华,王高峰;模糊临近支持向量机[J];计算机工程与应用;2005年05期

6 张浩然;汪晓东;张长江;徐秀玲;;一种新型回归支持向量机的学习算法[J];测试技术学报;2006年02期

7 王晔;黄上腾;;基于间隔区域样本数量的加权支持向量机[J];计算机工程;2006年06期

8 梁新荣;刘智勇;孙德山;毛宗源;;支持向量机在混沌系统预测中的应用[J];计算机应用研究;2006年05期

9 卢敏;张展羽;冯宝平;贾仁辅;;基于支持向量机的区域水安全预警模型及应用[J];计算机工程;2006年15期

10 张阳;刘永革;景旭;;一种改进的线性支持向量机的特征筛选算法[J];西北农林科技大学学报(自然科学版);2006年10期

中国重要会议论文全文数据库 前10条

1 侯澍e，

本文编号：1219179