一种基于kmeans聚类算法和LDA主题模型的文本检索方法及有效性验证

发布时间：2018-09-18 12:26

【摘要】：【目的/意义】非常态分布状态下,LDA主题模型的检索效果较差;在数据量较小的情况下LDA主题模型计算出来的正确率较低。【方法/过程】本文提出一种基于Kmeans聚类算法的LDA主题模型检索方法,本检索方法以Kmeans算法为基础,对文本主题进行聚类和语义相关度分析,避免了传统LDA主题模型存在的诸多缺陷。【结果/结论】实验结果显示,不论是一般还是多义主题关键词的检索,本文的LDA主题模型在耗时和准确率上均比本文列出的其他三种主题模型具有明显的优势,进一步验证了本文提出方法的有效性。
[Abstract]:[objective / significance] the retrieval effect of LDA thematic model was poor under the condition of abnormal distribution. In the case of small amount of data, the accuracy of LDA topic model calculation is low. [method / process] this paper presents a LDA topic model retrieval method based on Kmeans clustering algorithm, which is based on Kmeans algorithm. Clustering and semantic relevance analysis of text topics avoid many defects of traditional LDA topic models. [results / conclusions] Experimental results show that, whether general or polysemous keywords retrieval, The LDA topic model in this paper has obvious advantages over the other three topic models in terms of time consuming and accuracy, which further verifies the effectiveness of the proposed method.
【作者单位】： 赣南师范学院图书馆;
【分类号】：TP391.1

【相似文献】

相关期刊论文 前10条

1 胡吉明;陈果;;基于动态LDA主题模型的内容主题挖掘与演化[J];图书情报工作;2014年02期

2 刘培奇;孙捷焓;;基于LDA主题模型的标签传递算法[J];计算机应用;2012年02期

3 程艳花;谭怒涛;黄磊;王建英;;图像分块重构和LDA融合的人脸识别方法[J];计算机工程与应用;2009年27期

4 黄正鹏;;一种改进的LDA+算法[J];福建电脑;2008年08期

5 张燕平;窦蓉蓉;赵姝;曹振田;;基于集成学习的规范化LDA人脸识别[J];计算机工程;2010年14期

6 赵炜;陈俊杰;李海芳;;融合LDA和多类SVM的图像语义映射研究[J];计算机工程与应用;2009年18期

7 吴秀清;范丽亚;;基于QR分解和支持向量的伪逆LDA[J];聊城大学学报(自然科学版);2011年04期

8 郑世卓;崔晓燕;;基于半监督LDA的文本分类应用研究[J];软件;2014年01期

9 楚克明;李芳;;基于LDA话题关联的话题演化[J];上海交通大学学报;2010年11期

10 刘杰;张福生;冯达;;基于LDA的潜艇机械噪声识别算法研究[J];舰船电子工程;2013年04期

相关会议论文 前2条

1 楚克明;李芳;;基于LDA新闻话题的演化[A];第五届全国信息检索学术会议论文集[C];2009年

2 Jussi Koskinen;蔺春涛;高冬;;线阵探测器(LDA)的现状及发展趋势(英文)[A];2004年CT和三维成像学术年会论文集[C];2004年

相关硕士学位论文 前10条

1 陈小艳;融合结构信息的LDA扣件状态识别研究[D];西南交通大学;2015年

2 袁胜文;基于LDA的中文科技文献话题演化研究[D];河南工业大学;2015年

3 雷鹏;基于LDA的智能电视家庭成员识别方法研究[D];山东大学;2016年

4 杨帆;基于LDA主题模型和标签聚类的党建信息推送策略研究[D];云南大学;2016年

5 黄勇;改进的互信息与LDA结合的特征降维方法研究[D];华中师范大学;2016年

6 张彬彬;基于LDA的社会化标签系统推荐技术研究[D];华南农业大学;2016年

7 楚克明;基于LDA的新闻话题演化研究[D];上海交通大学;2010年

8 王敏;基于LDA主题模型的图像场景分类[D];西安电子科技大学;2013年

9 程龙龙;基于LDA的行为定向广告投放算法研究[D];辽宁大学;2014年

10 刘海旭;基于PCA和LDA的文本分类系统设计与实现[D];北京邮电大学;2013年

，

本文编号：2247917