林业WEB黄页信息整合中数据去重关键技术研究

发布时间：2018-07-02 09:39

本文选题：WEB信息整合 + 逐级聚类数据去重　；参考：《北京林业大学》2013年硕士论文

【摘要】：对互联网中海量、异构、动态、离散的WEB信息进行整合,是实现垂直搜索引擎,提供高效主题信息服务的基础。林业WEB黄页是重要的林业信息资源,整合Internet上不同站点的林业电子黄页,形成全面而专业的林业WEB黄页数据库,为精准搜索、查询、对比乃至个性化服务提供数据支持,具有显著的应用价值。已有的研究已将不同林业站点中的林业黄页数据进行了初步的整合,然而由于WEB数据更新与变化频繁、输入有误等原因,整合信息中存在大量“脏数据”：包括异常数据、不完整数据和重复数据等,其中多数据源合并造成的重复数据是最关键的问题,因此数据去重成为一个研究的热点。本文首先介绍了数据去重的基本原理、常用算法,分析了其优缺点,然后结合林业WEB黄页的特点,重点提出了一种逐级聚类的数据去重方法,该方法首先通过关键属性分割和Canopy聚类将大记录集划分成小记录集,然后精确聚类重复记录。在精确聚类时,本文提出了基于动态权重的模糊实体匹配策略,并对黄页名称的特殊性进行处理,提高去重准确率。最后设计并实现了林业WEB黄页数据去重系统,并实验验证了所提方法在时间效率和准确率上均优于传统算法,具有较强的实用性,能够有效的解决林业WEB黄页整合中的数据去重问题。
[Abstract]:The integration of mass , heterogeneous , dynamic and discrete WEB information in the Internet is the basis for realizing vertical search engine and providing efficient subject information service . The forestry WEB Yellow Pages is an important forestry information resource , which integrates the forestry electronic yellow pages of different sites on the Internet . It has significant application value .

This paper first introduces the basic principle of data de - duplication , commonly used arithmetic , analyzes its advantages and disadvantages , then combines the characteristics of forestry WEB yellow page , and puts forward a data de - duplication method based on dynamic weight . The method firstly designs and implements fuzzy entity matching strategy based on dynamic weight , and verifies the particularity of the yellow page name . Finally , the paper designs and implements the forestry WEB yellow page data deduplication system , and the experiment proves that the proposed method is superior to the traditional algorithm in time efficiency and accuracy , and has strong practicability and can effectively solve the data de - duplication problem in the forestry WEB yellow page integration .
【学位授予单位】：北京林业大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.1

【相似文献】