网络话题的检测与表示研究

发布时间：2020-04-07 07:45

【摘要】：随着互联网和社交平台的迅猛发展,人们获取信息的方式越来越便捷,自我表达的手段也越来越多。正是由于这种用户产生式的信息传播方式,使得网络上数据量激增,导致用户难以快速获取自身感兴趣的内容。因此,建立准确的网络话题检测模型,寻找有效的网络话题表示方法成为了帮助用户从海量数据中获取热门信息的有效途径。本文针对网络话题进行了三个方面的研究:网络话题的检测、网络话题的表示以及一种网络话题检测的后处理优化方法。首先,本文提出了一种网络话题检测算法。在网络话题检测的过程中,本文发现网络话题内部相似度能够反映话题内网页之间的关系,从而构造了具有稀疏约束的网络话题内部相似度。随后,基于泊松反卷积算法对原始混合相似度进行拟合重构,进而降低了话题中错误检测网页所带来的不良影响,得到每个候选话题的重要程度。通过对候选话题重要程度的排序,完成网络话题检测任务。其次,本文提出一种网络话题表示方法。为了解决使用不连续的关键词在进行话题描述时带来的歧义,同时多角度且全面地给用户呈现网络话题的内容,本文提出原型网页表示法。根据原型应具有代表性和多样性,本文建立了原型网页学习算法模型。通过学习网络话题内网页之间不同的关系,模型能够从中学习得到具有代表性和多样性的原型网页集合。用户通过直接浏览原型网页集合,达到快速、准确且全面地了解热门网络话题的目的。最后,针对网络话题检测中存在的不足,本文提出一种后处理优化方法。我们发现在候选话题的排序中,存在大量不准确或无意义的话题。如果合理的处理这些话题,则自然能够提升网络话题检测性能。本文通过对排序后的候选话题进行吸收、移除、重组和重排序的一系列操作,有效地去除了无意义的候选话题,提高了网络话题检测的性能。并在两个公开数据集上进行的多种算法的对比实验证明了该后处理方法的有效性和鲁棒性。
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP393.092

【相似文献】