面向Deep Web本地化数据集成的数据源两层选择模型

发布时间：2020-02-04 20:39

【摘要】：针对基于数据源质量选择方法的数据源在数据爬取时存在代价大、重复率高的问题,提出一种结合两层选择模型的Deep Web数据源选择和集成方法。该方法根据数据源本身质量和数据源的效用构建数据源的两层选择模型。给出基于该模型的递归增量数据源选择和集成策略,采用基于数据源质量的选择器过滤大量低质量Deep Web数据源,仅选择若干个高质量的数据源作为第2层选择器的输入。从候选数据源集合中递归地选择,使集成系统在获得尽可能多的高质量数据的同时,避免出现较高覆盖率的k个数据源,作为集成系统最终需要爬取和集成的数据源。实验结果表明,该方法结合两类选择器的优点,缩减了候选数据源的空间并保证集成数据的质量,同时避免了系统处理大量重复数据,有效降低Deep Web数据爬取与集成的代价。
【图文】：

鞋类,选择策略,数据,数据源

３８逦计算机工程逦２０１７年３月１５日逡逑Ａｌｅｘａ邋Ｔｈｅ邋Ｗｅｂ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｃｏｍｐａｎｙ邋得到这些数据邋Ｔｗｏ－Ｈ３邋与邋Ｔｗｏ－Ｈ邋比较接近，略好于邋Ｔｗｏ－Ｈ，Ｔｗｏ－逡逑源最近一周和最近３个月的用户的平均访问量。由邋Ｈ２的数据总量增长速度低于Ｔｗｏ－Ｈ，根据分析由于逡逑于在实际情况下，在Ｗｅｂ数据库质量评估和效用估逦Ｔｗｏ－Ｈ的质量评估模型把数据源大小作为一个重要逡逑计时仅仅依靠Ｄｅｅｐ邋Ｗｅｂ后台Ｗｅｂ数据库中的小部邋评价指标，而Ｔｗｏ－Ｈ２则没有考虑此质量因素。其逡逑分的样本数据。为了比较本文提出方法的效率，需邋他方法的性能明显低于３种两层数据源选择方法。逡逑要有Ｄｅｅｐ邋Ｗｅｂ数据源中较为完整的数据作为基准。在图书领域的实验取得了类似的结果，如图３所示。逡逑因此，在本文实验中对于选取的每一个ＤｅｅＰ邋Ｗｅｂ数逦因此，本文提出的Ｔｗｏ－Ｈｉｅｒａｒｃｈｉｃａｌ数据源选择策略逡逑据源首先利用爬虫尽可能完整地爬取这些Ｄｅｅｐ邋能选择尽可能少的数据源使集成系统获得最多的数逡逑Ｗｅｂ数据源中的数据，使用从每个数据源得到的数逦据总量，具有较好的性能。逡逑据代表该数据源完整的数据。因此，对于上述实验逦Ｉ＾ＴＷＯ－Ｈ邋－＾Ｔｗｏ－Ｈ２邋＾逡逑数据集可以对这些数据源的质量和效用进行估算得逦－＾－Ｑｕａｌｉｔｙ－Ｓ１邋－０－Ｑｕａｌｉｔｙ－Ｓ２邋＾－Ｒａｎｄｏｍ逡逑到它们实际的选择序列，然后与本文提出的数据源逦｜１（）［逦‘逡逑选择方法及现有各种数据源选择方法得出的结果进逦ｕ00ｌ＇＿逡逑行比较，验证本文提出方法的有效性。逦蠢０．４邋－逡逑本文实验使用的现有各种数据源选择方法逦霉逡逑均邋ｎ逦逦１

曲线,重叠率,选择策略,图书

ｏｎ逡逑＾邋４邋＇逦三＾逦＾逦Ｒｅｔｒｉｅｖａｌ．邋Ｎｅｗ邋Ｙｏｒｋ，ＵＳＡ：ＡＣＭ邋Ｐｒｅｓｓ，２０１０：９８－１０５．逡逑２．ｒｆｃ邋＿逦＿邋＿邋■W 逦［４］逦？￡举，周立柱．基于关键词的深度万维网数据库选逡逑」Ｉ邋函邋Ｉ逦，W丨W逦择［Ｊ］．计算机学报，２０１１，３４（邋１０）邋：１７９７－１８０４．逡逑１0逦１５逦２0逦［５］万常选，邓松，刘德喜，等，面向混合类型关键词查逡逑？）ＳＭＤｅｅｐＷｅｂｊＫ？ｉｌｇ？ｌ逦询的非合作结构化深网数据源选择［Ｊ］．计算机研究逡逑图４各种选择策略的重叠率比较（图书领域）逦与发展，２０１４，５１（４）邋：９０５－９１７．逡逑根据实验结果进－步分析以取，＿２所示，［６：逡逑本文提出的Ｔｗｏ－Ｈ数据源选择方法的曲线，在初期逦Ｐｒｏｃｅｅｄｉｎｇｓ邋ｏｆ邋ｔｈｅ邋３９ｔｈ邋Ｉｍｅｒｎａｔｉｃｍａｌ邋Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ逡逑的曲线非常陡，数据总量百分比随着选择数据源的逦Ｖｅｒｙ邋Ｌａｒｇｅ邋Ｄａｔａ邋Ｂａｓｅｓ邋Ｅｎｄｏｗｍｅｎｔ．邋Ｒｉｖａ邋ｄｅｌ邋Ｇａｒｄａ，逡逑增加增长迅速，当选择１５个数据源时，数据总量百逦Ｔｒｅｎｔｏ：Ｓｐｒｉｎｇｅｒ，２０１３：３７－４８．逡逑分比已达到９４％。而之后随着选择数据源的增加数［７］逦＝逦数据获取问题研究［Ｄ］？济南：逡逑据总里并没有显著增加。因此，对于Ａ：有一个临界［８逦］逦ＡｂｏＬｌｎａｇａ邋Ａ，Ｇｅｂａｌｙ邋Ｋ邋Ｅ．邋ｐＢＥ：邋Ｕｓｅｒ邋Ｇｕｉｄｅｄ邋Ｓｏｕｒｃｅ逡逑值，当（值到达临界值后继续增加，对数据总量的影逦Ｓｅｌｅｃｔｉｏｎ邋ａｎｄ邋Ｓｃｈｅｍａ邋Ｍｅｄｉａｔｉｏｎ邋ｆｏｒ邋Ｉｎｔｅｒｎｅｔ邋Ｓｃａｌｅ邋Ｄａｔａ逡逑响

【相似文献】