基于复合词生成的网络热点话题识别及描述算法

发布时间：2018-01-24 07:59

本文关键词： 网络热点话题识别热词抽取复合词聚类　出处：《图书情报工作》2016年23期 　论文类型：期刊论文

【摘要】：[目的/意义]在海量网络新闻和微博等新媒体文本中自动识别网络热点话题并抽取有意义词串来描述热点事件,对自动识别和描述网络舆情具有重要的研究意义。[方法/过程]在现有热点描述词抽取方法中,利用关联规则或多元词组合方法在抽取过程中存在噪音词较多和特征词语义被放大或转移等问题。本文提出一种基于复合词生成的描述词抽取方法,在所提取的语义更为精确的描述词集合上使用一趟聚类算法对新闻文本进行聚类,自动识别网络热点话题并对热点话题进行排名。[结果/结论]对腾讯新闻事件文本数据集所做的实验结果表明,本文所提出的方法较传统的词特征抽取方法在聚类结果上具有更好的话题簇识别能力和簇描述能力。
[Abstract]:[Objective / meaning: to automatically identify hot topics and extract meaningful strings of words to describe hot events in new media texts such as massive online news and Weibo. It is of great significance to identify and describe the network public opinion automatically. [Methods / procedures] in the existing hot spot description word extraction methods. Using association rules or multivariate word combination method, there are many problems in the process of extraction, such as noise words are more and the meaning of feature words is enlarged or transferred. In this paper, a description word extraction method based on compound word generation is proposed. A one-trip clustering algorithm is used to cluster the news text on the extracted semantic more accurate description word set to automatically identify the hot topics on the network and rank the hot topics. [Results / conclusion] the experimental results on the text dataset of Tencent News event show that. Compared with the traditional word feature extraction method, the method proposed in this paper has better clustering ability and cluster description ability.
【作者单位】：广东外语外贸大学语言工程与计算重点实验室;广东外语外贸大学信息学院;广东外语外贸大学图书馆;
【基金】：国家自然科学基金项目“面向中国英语学习者的英文作文全自动评分算法及诊断反馈技术研究”(项目编号:61402119) 广东省普通高校科技创新项目“面向网络英文文本的涉华舆情分析关键技术研究”(项目编号:2013KJCX0071)研究成果之一
【分类号】：TP391.1
【正文快照】： 随着微博和网络新闻等新媒体的出现,实体社会中的各种突发事件会第一时间在网络媒体中呈现,面对海量网络新媒体数据,如何自动识别和挖掘网络热点话题和热点事件是当前的研究热点[1-4]。针对热点话题的自动识别,聚类方法被广泛使用,如于满泉等[5]针对事件特点使用多层聚类对话

【相似文献】