互联网舆情信息管控关键技术研究与实现

发布时间：2021-07-08 23:31

　　本文针对互联网信息内容新、变化快和新类别层出不穷的特点,对舆情信息管控领域的几个关键技术做了较为深入的研究,设计了中文文本聚类模型CTCM。本文首先对中文分词技术、文本特征选取、汉语语言构成及分词词表进行分析,提出并实现了基于正向最大匹配的新词发现,该算法可及时发现任意长度的热点词汇,可实现动态调整词表。其次,通过对各种聚类算法的分析、比较与实验,针对互联网舆情信息管控领域的特点,本文创新性的提出了基于密度与CFK-Means相结合的聚类算法—DK算法,既极大地降低了计算复杂度和计算时间,又克服了单纯采用K-Means算法依赖初始聚类数和初始聚类中心点的缺陷。大量的实验数据显示,DK算法显著提高了聚类速度和准确率。最后,本文将文本聚类的思想引入类描述信息的自动生成,将每个段落看成是一个篇幅较小的文本,计算类与文本的相似程度,找出与类相似程度最高的段和语句,从而确定类的描述信息。通过测试,证明本文设计实现的中文文本聚类系统实现了对于互联网舆情信息热点的及时发现、及时分类,有效的改善了网络管控的效果。 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

网络社区的迅速发展数据统计

for (int i=0; i<count; i++) {determine whether every word exists in the dictionary;get the candidate for new word in using MM method;}}if the specific new word appear more than the limit times, we suppose it may bea candidate for the new word;using the rule of Chinese word constructure to get the final new word;perfect the existed dictionary and add the new word.

另一个是改进具体算法。本文改进了初始模板的选定方法，以每个向量为圆心，以所有向量之间距离的平均值为半径作圆，然后根据每个圆内的数据点的密度来排序确定初始聚类中心和初始聚类数。这样，K-means 聚类算法需要的初始模板就由以上算法动态生成，而无需用户进行事先指定。K-Means 算法中，初始聚类中心的选择对聚类结果的影响是很大的，如下图 4.1，图 a 是三个簇的实际分布，图 b 是选取了较好的初始聚类中心（十字标记的数据对象）得到的结果，图 c 是选取不好的初始聚类中心得到的结果。从中可以看到，选择初始聚类中心是很关键的。


本文编号：3272549