大数据环境下Web数据源质量评估方法研究

发布时间：2018-02-26 08:39

  本文关键词： 大数据 Web数据源 数据质量评估 全样本分析 MapReduce框架　出处：《计算机工程》2017年02期 　论文类型：期刊论文

【摘要】：在大数据环境下Web数据资源的开放性和多源性使得不同互联网平台提供的数据质量参差不齐,严重影响人们从互联网中有效准确地获取信息。为此,提出一种Web数据源质量评估方法。建立面向多源互联网平台的统一数据模型和数据质量标准模型,给出针对大数据全样本数据分析的质量标准度量和表示方法,并通过多维数据质量的综合评估实现Web数据源质量的统一度量。实验结果表明,该方法能全面度量互联网平台的数据质量,为用户提供准确高效的质量评价结果。
[Abstract]:Under the environment of big data, the openness and multi-source of Web data resources make the data quality of different Internet platforms uneven, which seriously affects the effective and accurate access to information from the Internet. This paper presents a Web data source quality evaluation method, establishes a unified data model and a data quality standard model for multi-source Internet platform, and presents the measurement and representation of quality standards for big data's full-sample data analysis. The experimental results show that this method can comprehensively measure the data quality of Internet platform and provide users with accurate and efficient quality evaluation results.
【作者单位】： 武汉大学计算机学院;纽约州立大学宾汉姆顿分校计算机科学系;
【基金】：国家自然科学基金(61502350,61672393,U1536114) 中央高校基本科研业务费专项资金项目(2042014kf0057) 湖北省自然科学基金(2014CFB289)
【分类号】：TP311.13;TP393.09

【参考文献】

相关期刊论文 前2条

1 余伟;李石君;杨莎;胡亚慧;刘晶;丁永刚;王骞;;Web大数据环境下的不一致跨源数据发现[J];计算机研究与发展;2015年02期

2 王欣;黄林鹏;章义;徐小辉;陈俊清;;A Solution of Data Inconsistencies in Data Integration——Designed for Pervasive Computing Environment[J];Journal of Computer Science & Technology;2010年03期

【共引文献】

相关期刊论文 前7条

1 文孟飞;刘伟荣;胡超;;网络媒体大数据流异构多模态目标识别策略[J];计算机研究与发展;2017年01期

2 胡亚慧;杨莎;刘晶;余伟;李石君;王俊;方其庆;;URTP:一种基于用户-区域-时间-商品的因子分解推荐模型[J];计算机科学;2016年09期

3 张华华;汪文义;;“互联网+”测评:自适应学习之路[J];江西师范大学学报(自然科学版);2016年05期

4 张春生;;大数据环境下相容数据集的关联规则数据挖掘[J];微电子学与计算机;2016年08期

5 陈一芳;王顺林;;借用数据挖掘,谋求智慧物流差异化服务创新发展[J];物流科技;2016年04期

6 侯东平;;基于函数依赖的数据一致性检测方法[J];数字技术与应用;2016年01期

7 胡亚慧;李石君;余伟;杨莎;甘琳;王凯;方其庆;;大数据环境下的电子商务商品实体同一性识别[J];计算机研究与发展;2015年08期

【二级参考文献】

相关期刊论文 前10条

1 程学旗;靳小龙;王元卓;郭嘉丰;张铁赢;李国杰;;大数据系统和分析技术综述[J];软件学报;2014年09期

2 慈祥;马友忠;孟小峰;;一种云环境下的大数据Top-K查询方法[J];软件学报;2014年04期

3 黄冬梅;杜艳玲;贺琪;;混合云存储中海洋大数据迁移算法的研究[J];计算机研究与发展;2014年01期

4 孟小峰;李勇;祝建华;;社会计算:大数据时代的机遇与挑战[J];计算机研究与发展;2013年12期

5 杨静;李文平;张健沛;;大数据典型相关分析的云模型方法[J];通信学报;2013年10期

6 张奥千;宋韶旭;王建民;;基于数据质量规则的缺失结果解释约减[J];计算机研究与发展;2013年S1期

7 金连;王宏志;黄沈滨;高宏;;基于Map-Reduce的大数据缺失值填充算法[J];计算机研究与发展;2013年S1期

8 宋杰;李甜甜;朱志良;鲍玉斌;于戈;;云数据管理系统能耗基准测试与分析[J];计算机学报;2013年07期

9 王元卓;靳小龙;程学旗;;网络大数据:现状与展望[J];计算机学报;2013年06期

10 李建中;刘显敏;;大数据的一个重要方面:数据可用性[J];计算机研究与发展;2013年06期

【相似文献】

相关期刊论文 前10条

1 左建青;王吉芳;徐小力;;虚拟仪器测试系统及其Web数据管理研究[J];自动化与仪表;2007年06期

2 耿建勇,鲁士文;微软.NET框架下提取在线Web数据的方法[J];计算机系统应用;2004年04期

3 杨竞菁;利用XML和ASP技术进行Web数据动态显示[J];福建电脑;2004年09期

4 王昭义;刘斌;蔡瑞英;;Web数据仓库及其在办公自动化系统中的应用[J];计算机技术与发展;2006年02期

5 王楠;;一种实现Web数据到XML文档的转换算法[J];大连海事大学学报;2010年03期

6 石翌轶;宋自林;尹康银;;一种基于语义的Web数据搜索引擎方法研究[J];山东大学学报(理学版);2006年03期

7 张永新;;基于Asp的Web数据有序输出算法研究[J];中国科技信息;2007年01期

8 陈恩红;徐涌;王煦法;;Web使用挖掘:从Web数据中发现用户使用模式[J];计算机科学;2001年05期

9 齐金刚;李滔;李晋军;;Django框架Web数据查询分页技术研究[J];电子设计工程;2014年05期

10 安宁辉;;一种基于ADO Recordset技术的Web数据分页方法的改进[J];计算机时代;2007年03期

相关会议论文 前1条

1 胡东东;孟小峰;;一种基于树结构的Web数据自动抽取方法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

相关硕士学位论文 前3条

1 房小敏;基于Web数据的中小学网络教学资源建设现状调查[D];南京师范大学;2016年

2 罗阳;基于Web数据的双语资源挖掘技术研究[D];沈阳航空航天大学;2011年

3 焦晓龙;基于Web数据表抽取的领域本体构建方法研究[D];东北大学;2012年

，

本文编号：1537282