互联网商品匹配算法

发布时间：2019-09-18 00:05

【摘要】：实体解析是指识别同一实体的不同描述形式的过程,旨在保障数据质量,是数据清理、数据集成及数据挖掘中的关键技术.随着电子商务的不断发展和成熟,商品的多样性和消费者灵活的购买方式,使得对网络商品的精确识别和匹配成为大数据时代亟待解决的问题.与传统实体解析主要针对结构化数据不同,网络数据具有非结构化、异构和海量的特性,为此设计了综合相似度算法(synthesized similarity method,SSM)来计算网络商品数据间的相似度,同时引入凝聚的层次聚类框架,以匹配来自不同数据源的异构商品.此外,为了解决大数据环境下对执行效率的要求,从字符串相似度缓存、约束知识库和分块策略三个方面对SSM进行优化,基于真实数据集的实验结果验证了SSM的执行效率和有效性.
【作者单位】： 上海交通大学电子信息与电气工程学院;南通大学计算机科学与技术学院;
【基金】：国家自然科学基金资助项目(61272438,61472253,61300167) 上海市科委资助项目(15411952502,14511107702)
【分类号】：TP391.41
，

本文编号：2537164