中文短文本聚合模型研究

发布时间：2018-03-12 11:33

本文选题：中文短文本　切入点：聚合模型　出处：《软件学报》2017年10期 　论文类型：期刊论文

【摘要】：中文短文本聚合的目的是将两个数据集中属于同一对象的短文本信息进行匹配关联,同时要避免匹配不属于同一对象的短文本信息,这项研究对于多源异构的短文本数据资源整合具有重要的理论和现实意义.提出了一种有效的中文短文本聚合模型,通过快速匹配和精细匹配两个关键步骤可以大幅度降低匹配的候选对数量,并保证匹配的精度.针对传统短文本相似度算法的不足,提出了一种新颖的广义Jaro-Winkler相似度算法,并从理论上分析了该算法的参数特性.通过对不同数据集上的商户信息数据进行聚合实验,结果表明,新算法与传统算法相比,在匹配准确率和稳定性上具有最优的性能.
[Abstract]:The purpose of Chinese short text aggregation is to match the text information belonging to the same object in two data sets, and to avoid matching the short text information that does not belong to the same object. This study is of great theoretical and practical significance for the integration of multi-source and heterogeneous short text data resources. An effective Chinese text aggregation model is proposed. Through the two key steps of fast matching and fine matching, the number of candidate pairs can be greatly reduced and the accuracy of matching can be guaranteed. A novel generalized Jaro-Winkler similarity algorithm is proposed to overcome the shortcomings of the traditional text text similarity algorithm. The experimental results show that the new algorithm has the best performance in matching accuracy and stability compared with the traditional algorithm.
【作者单位】：电子科技大学计算机科学与工程学院互联网科学中心;电子科技大学大数据研究中心;中国银联股份有限公司电子支付研究院;
【基金】：国家自然科学基金(61300018) 中国银联-电子科技大学-金融大数据研究项目~~
【分类号】：TP391.1

【相似文献】