基于用户评价的查询串与搜索结果特征权重计算

发布时间：2018-09-19 11:20

【摘要】：提出了利用大量用户评价结果来进行特征权重的计算方法,用于解决搜索引擎中查询串与搜索结果的相似度分析。该方法完全利用用户对搜索结果的“潜在评价”来进行。用户对输入查询串所做的点击反映了其内部的关联性,该文提出的方法可获取这种关联性,对该问题建立了数学模型,利用EM算法解决了特征权重的计算。由于模型的函数比较复杂,难于计算其收敛性,因此,使用了模拟退火算法作为EM算法的补充,用于验证算法的收敛性。实验使用百度搜索引擎在竞价广告上进行,提取的测试数据样本为100个广告和144 132个query,获得的数据结果显示,所有特征收敛到全局最优解,抽样部分数据获得检索相似准确率为93.32%,召回率为87.43%。
[Abstract]:In this paper, a method of calculating feature weights using a large number of user evaluation results is proposed, which is used to solve the similarity analysis between query strings and search results in search engines. The method makes full use of the user's "potential evaluation" of search results. The user's click on the input query string reflects its internal relevance, which can be obtained by the proposed method. The mathematical model of the problem is established, and the calculation of feature weights is solved by using EM algorithm. Because the functions of the model are complex, it is difficult to calculate the convergence of the model. Therefore, the simulated annealing algorithm is used as a supplement to the EM algorithm to verify the convergence of the algorithm. The experiment uses Baidu search engine to carry out the bidding advertisement. The test data samples are 100 ads and 144,132 query, data. The results show that all the features converge to the global optimal solution. The retrieval accuracy of sampling data was 93.32 and the recall rate was 87.43.
【作者单位】： 北京科技大学信息工程学院 北京科技大学信息工程学院 北京科技大学信息工程学院
【分类号】：TP391.4

【参考文献】

相关期刊论文 前3条

1 张士峰;混合正态分布参数极大似然估计的EM算法[J];飞行器测控学报;2004年04期

2 王伟,钟义信,孙建,杨力;一种基于EM非监督训练的自组织分词歧义解决方案[J];中文信息学报;2001年02期

3 李家福,张亚非;基于EM算法的汉语自动分词方法[J];情报学报;2002年03期

【共引文献】

相关期刊论文 前10条

1 文庭孝;汉语自动分词研究进展[J];图书与情报;2005年05期

2 王微;石志广;赵宏钟;付强;;用期望最大化算法抑制角闪烁的预处理方法[J];电光与控制;2009年05期

3 鲁强;金伟祖;;基于FMM和CRFs双层分词模型的研究[J];电脑知识与技术;2008年28期

4 李红霞;易丽萍;;EM无监督汉语分词算法[J];电脑知识与技术;2009年12期

5 刘向冲;侯翠霞;申维;张德会;;MML-EM方法及其在化探数据混合分布中的应用[J];地球科学(中国地质大学学报);2011年02期

6 刘晓英;汉语自动分词研究的发展趋势[J];高校图书馆工作;2005年04期

7 杨哲海;张俊;李之歆;;低通滤波器在高光谱影像分类中的应用[J];海洋测绘;2011年05期

8 解烈军,侯晓荣,周彩莲;基于规则的几何语言自动分词算法[J];淮阴师范学院学报(自然科学版);2004年02期

9 曾华琳,李堂秋,史晓东;一种基于提取上下文信息的分词算法[J];计算机应用;2005年09期

10 吴春颖;王士同;;基于二元语法的N-最大概率中文粗分模型[J];计算机应用;2007年12期

相关会议论文 前1条

1 曾华琳;史晓东;李堂秋;;基于上下文信息提取的概率分词算法[A];第六届汉语词汇语义学研讨会论文集[C];2005年

相关博士学位论文 前8条

1 彭强;复杂系统远程智能故障诊断技术研究[D];南京理工大学;2004年

2 钱俊;单幅雷达影像测图原理研究[D];武汉大学;2004年

3 乔林;基于多关键词检索的企业竞争情报搜集方法研究[D];中国科学技术大学;2006年

4 刘涛;现代信息检索中的文本分类及图像恢复研究[D];北京邮电大学;2006年

5 杨哲海;高光谱影像分类若干关键技术的研究[D];解放军信息工程大学;2006年

6 王阗;信息度优先算法及在森林资源统计分析中的应用[D];南京林业大学;2007年

7 邓巍;喷雾图像处理及脉宽调制（PWM）变量喷雾的雾化特性研究[D];南京农业大学;2007年

8 生龙;二型模糊系统理论及应用[D];电子科技大学;2012年

相关硕士学位论文 前10条

1 胡志敏;互联网文本自动文摘技术的研究[D];湘潭大学;2010年

2 兰冲;基于统计规则的中文分词研究[D];西安电子科技大学;2011年

3 刘卫秋;专利信息检索系统的研究与实现[D];中南大学;2010年

4 韩月阳;基于S-EK图最短路径中文分词的研究[D];云南大学;2011年

5 高勇;校园网数字资源搜索引擎的技术研究与实现[D];解放军信息工程大学;2008年

6 任丽芸;搜索引擎中文分词技术研究[D];重庆理工大学;2011年

7 陈小蕾;主基因—多基因性状与微效多基因性状的综合选择指数研究[D];西北农林科技大学;2011年

8 宗胡亮;无线信道统计模型识别及其在MIMO系统下的应用[D];南昌大学;2011年

9 关宏超;基于统计的开放式汉语自动分词[D];大连理工大学;2002年

10 刘军;基于论点倾向的网络信息内容实时分析研究[D];四川大学;2003年

【相似文献】

相关期刊论文 前10条

1 费晓燕,张海燕;一种用EM算法进行数据清理的方法[J];空军雷达学院学报;2003年02期

2 张少中,杨南海,王秀坤;贝叶斯网络参数的在线学习算法及应用[J];小型微型计算机系统;2004年10期

3 吴建国;彭源;;一种基于EM算法的图像分割改进技术[J];电脑知识与技术;2009年13期

4 彭培福;李树有;姬永刚;李鹏;;改进的EM算法在说话人识别中的应用[J];辽宁工业大学学报(自然科学版);2009年03期

5 柳贵东;山拜·达拉拜;;基于EM算法的非高斯噪声参数估计[J];通信技术;2011年01期

6 任雁;李艳萍;;基于EM算法的MIMO-OFDM系统半盲信道估计研究[J];长治学院学报;2011年02期

7 徐仁佐,吴新玲;NHPP模型参数调整与EM算法[J];计算机学报;1992年05期

8 杨沛武;刘飞;;基于动态概率主元分析的统计过程监测[J];计算机与应用化学;2008年04期

9 许丽佳;王厚军;龙兵;;基于贝叶斯网络的复杂系统故障预测[J];系统工程与电子技术;2008年04期

10 林鸿;;改进的EM算法——A-ECM算法[J];福建电脑;2009年10期

相关会议论文 前10条

1 马尽文;何学锋;;高斯混合模型的数据尺度可压缩参数学习算法[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年

2 丁向东;张勤;;基于EM和规则算法的半同胞家系单倍型推断方法[A];中国动物遗传育种研究进展——第十五次全国动物遗传育种学术讨论会论文集[C];2009年

3 赵扬;马尽文;;退火EM算法在非监督图像分割中的应用[A];第十二届全国信号处理学术年会（CCSP-2005）论文集[C];2005年

4 骆俊;马尽文;;高斯混合模型的遗传分基融合算法[A];第十二届全国信号处理学术年会（CCSP-2005）论文集[C];2005年

5 任函;何婷婷;;大规模在线文本的自动分类研究[A];全国第八届计算语言学联合学术会议（JSCL-2005）论文集[C];2005年

6 王彪;王成儒;王芬芬;;一种改进的运动目标检测算法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

7 路晶;马少平;;基于多例学习的web图像聚类[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

8 韩玉兵;殷玮玮;吴乐南;;基于Wavelet-HMM的图像超分辨率重建[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

9 李旭超;朱善安;;WCS-HMT模型在图像分割中的应用[A];2006中国控制与决策学术年会论文集[C];2006年

10 丁X;许侃;;基于文本聚类方法的我国科技管理研究领域的计量研究[A];第三届科技政策与管理学术研讨会暨第二届科教发展战略论坛论文汇编[C];2007年

相关博士学位论文 前10条

1 郑术蓉;线性不等式约束下的EM算法[D];吉林大学;2004年

2 贾俊杰;空间数据挖掘中若干关键技术研究[D];长安大学;2009年

3 张文专;非线性再生散度随机效应模型的统计分析[D];云南大学;2004年

4 王丽娟;基于特征评价的模式识别算法研究[D];哈尔滨工业大学;2007年

5 赖欣;对随机效应混合治愈模型的一些推广[D];中国科学技术大学;2009年

6 陈佐;时间序列相空间重构数据挖掘方法及其在证券市场的应用[D];湖南大学;2007年

7 罗季;有限混合分布模型与线性模型的估计和检验问题[D];华东师范大学;2008年

8 孙红杰;基于主动测量的网络性能分析[D];哈尔滨工业大学;2007年

9 田勇;多分辨率隐马尔可夫模型图像去噪研究[D];兰州大学;2009年

10 邵虹;基于内容的医学图像检索关键技术研究[D];东北大学;2005年

相关硕士学位论文 前10条

1 丁春忠;学生成绩评价中的因子分析[D];苏州大学;2004年

2 韩雄振;基于统计学的预测结构域间相互作用方法的研究[D];吉林大学;2006年

3 赵红;对含有缺失基因型数据的家系进行单倍型推断的EM方法[D];东北师范大学;2006年

4 涂庆;中小样本的拟合优度检验[D];华中师范大学;2007年

5 刘妍;混合连接函数模型及其在风险度量中的应用[D];中国人民大学;2008年

6 韩琨;针对远交林木群体构建连锁不平衡图谱[D];浙江林学院;2008年

7 林鸿;EM算法的改进及其在基因序列分析中的应用[D];福州大学;2006年

8 孙兰;有限混合模型及其应用的研究进展[D];东北师范大学;2006年

9 茹正亮;基于状态空间模型的金融时间序列预测方法[D];河海大学;2007年

10 张智勇;基于GMDH的缺失数据插补方法研究[D];四川大学;2007年

，

本文编号：2249981