基于语义的中文短文本模糊谱聚类

发布时间：2018-02-26 16:00

  本文关键词： 短文本 文本聚类 知网 语义 谱聚类　出处：《华东师范大学》2015年硕士论文　论文类型：学位论文

【摘要】：随着互联网的不断发展和移动互联网的出现,电脑和移动通讯设备日益普及,微信、微博等各类应用也大量涌现,人们接触并产生了大量的短文本信息。这些文本信息虽然内容较少,但是却覆盖了政治、经济、娱乐、教育等各个领域,对这些信息进行有效分析和管理具有重要的参考和实用价值。文本聚类是对信息进行分析和管理的重要技术支撑,所谓文本聚类就是根据文档之间的相似度将文档数据集分成若干个簇或类,使同一簇或类的文档间相似度较大,不同簇或类的文档间相似度较小。其中文本聚类主要包含两个方面的内容：文本相似度计算和聚类算法。在本文中,首先对文本聚类进行了详细的描述,然后基于知网对文本相似度计算方法进行了改进,最后将根据改进方法得到的文本相似度结果应用到谱聚类算法中,同时对谱聚类算法进行了进一步改进,使最终的聚类效果更加准确。针对文本相似度计算,本文基于知网已有的文本相似度计算方法,在计算义原相似度时加入了义原节点区域密度因素；在计算词语相似度时充分考虑第一独立义原、其他独立义原和跟随义原的关系,并提出了动态词语相似度计算方法,同时动态化了各义原部分的权重分配；在计算文本相似度时根据短文本的文本特性,简化了文本相似度计算过程。同时在将根据改进的文本相似度计算方法得到的结果应用到谱聚类算法时,本文针对谱聚类的不足也提出了改进方法。为了得到更加精确的数据集相似度矩阵,本文引入数据集密度因素来构造新的相似度矩阵；针对谱聚类处理海量数据的短板,本文将数据集进行分块聚类,降低了谱聚类的计算复杂度；同时对于分块聚类导致的模糊隶属数据,本文对这些数据进行重新划分,提高了聚类准确度。本文最后对提出的改进进行了实验对比和分析,结果表明,本文针对短文本聚类两个方面的改进具有较好的效果。
[Abstract]:......
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.1

【相似文献】

相关期刊论文 前10条

1 王娜;杜海峰;庄健;余进涛;王孙安;;三种典型的基于图分割的谱聚类方法比较[J];系统仿真学报;2009年11期

2 王会青;陈俊杰;;基于图划分的谱聚类方法的研究[J];计算机工程与设计;2011年01期

3 王春腾;符传谊;邢洁清;;基于非负约束的谱聚类方法[J];电脑知识与技术;2011年17期

4 何飞;王晓晨;马粹;梁治国;;生产状态的测地距离谱聚类分析[J];计算机工程与应用;2012年24期

5 薛宁静;;生产状态的熵值评估谱聚类分析[J];计算机工程与应用;2012年19期

6 管涛;王杰;;谱聚类的算子理论研究进展[J];计算机科学;2013年S1期

7 周文刚;陈雷霆;董仕;;基于谱聚类的网络流量分类识别算法[J];电子测量与仪器学报;2013年12期

8 王玲;薄列峰;焦李成;;密度敏感的半监督谱聚类[J];软件学报;2007年10期

9 林立;胡侠;朱俊彦;;基于谱聚类的多文档摘要新方法[J];计算机工程;2010年22期

10 刘馨月;李静伟;于红;尤全增;林鸿飞;;基于共享近邻的自适应谱聚类[J];小型微型计算机系统;2011年09期

相关博士学位论文 前1条

1 孔敏;关联图的谱分析及谱聚类方法研究[D];安徽大学;2006年

相关硕士学位论文 前10条

1 何心琪;基于谱聚类的水声图像分割技术研究[D];哈尔滨工程大学;2013年

2 赵冬琴;基于谱聚类的MCI影像学分类特征研究与应用[D];太原理工大学;2014年

3 张俊英;基于谱聚类的图书目录重构[D];浙江大学;2010年

4 张天强;基于谱聚类的亲友通话圈挖掘[D];华南理工大学;2013年

5 郑伟;基于核与特征选择的谱聚类社区检测算法[D];西安电子科技大学;2013年

6 朱正伟;谱聚类研究及其在入侵检测中的应用[D];重庆大学;2010年

7 由里;基于谱聚类的图像分割方法研究[D];国防科学技术大学;2011年

8 张洪;结合概率潜在语义分析的文本谱聚类研究[D];重庆大学;2012年

9 陈志豪;基于阻尼距离的谱聚类集成算法研究与实现[D];华南理工大学;2013年

10 邓小燕;谱聚类在基因表达数据分析中的应用与研究[D];重庆大学;2010年

，

本文编号：1538687