一种基于MapReduce的实体共指消解方法

发布时间：2017-09-06 11:44

  本文关键词：一种基于MapReduce的实体共指消解方法

  更多相关文章： 实体共指消解 MapReduce 权重 相似度

【摘要】：在信息技术和工业自动化迅速发展的时代,源源不断地产生着大批量的数据,这些数据中大量指代同一实体的重复数据,给数据分析和处理带来了很大的困难。在以往研究的基础上,提出了一种基于MapReduce的实体共指消解的方法,该方法通过引入权重和相似度的度量指标,利用Hadoop平台和MapReduce框架把数据处理成key-value数据实体对的形式,进而对数据进行共指消解处理。经过实验,表明了该方法能够提高实体共指消解的准确率和速度,满足了企业在当前形势下实体共指消解的需求。
【作者单位】： 齐鲁工业大学信息学院;
【关键词】： 实体共指消解 MapReduce 权重 相似度
【基金】：山东省自主创新及成果转化专项(2014ZZCX03408)
【分类号】：TP311.13
【正文快照】： 信息技术与工业自动化的不断进步和发展,推动着新的工业时代的来临。随着技术更新和产品升级,工业领域企业内部源源不断地产生着越来越多的数据,这些数据当中有许多冗余数据,即存在多条数据指向同一个数据实体或对象的现象。工业生产过程复杂,其生产线及信息管理系统中存在的

【相似文献】

中国期刊全文数据库 前10条

1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

2 司方豪;钟春琳;;使用MapReduce提高多路数组聚集效率[J];电脑编程技巧与维护;2014年10期

3 翟东升;蔡万江;陈晨;黄鲁成;赵京;;基于MapReduce构建专利技术功效图的研究[J];情报杂志;2013年06期

4 贾瑞玉;刘范范;潘雯雯;王伟东;;基于MapReduce模型的并行量子进化算法[J];计算机工程;2012年08期

5 亢丽芸;王效岳;白如江;;MapReduce原理及其主要实现平台分析[J];现代图书情报技术;2012年02期

6 周涛;贺其备;黄光明;林和平;;基于MapReduce的海量图像处理模型的研究[J];信息技术;2013年11期

7 杨绍禹;王世卿;;MapReduce模型下数据隐私保护机制研究[J];计算机科学;2012年12期

8 黄志兰;丁圣勇;杨国良;罗颂锋;;基于MapReduce的PCA异常流量检测系统实现[J];电信科学;2010年06期

9 窦蒙;闻立杰;王建民;闫志强;;基于MapReduce的海量事件日志并行转化算法[J];计算机集成制造系统;2013年08期

10 刘热;;基于MapReduce的大规模话题网络提取分析[J];淮海工学院学报(自然科学版);2014年02期

中国重要会议论文全文数据库 前2条

1 郑宇瀚;郭燕慧;;一种针对流水线任务的云计算模型基于MapReduce的改进[A];2013年中国信息通信研究新进展论文集[C];2014年

2 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年

中国硕士学位论文全文数据库 前10条

1 王姗姗;MapReduce框架下并行有序决策树及有序决策森林[D];河北大学;2015年

2 金鹏;MapReduce框架下基于阈值约束的空间文本相似连接[D];燕山大学;2015年

3 周鸣爱;云计算中MapReduce高可用性和高效性的优化研究[D];河北工程大学;2015年

4 戴佳男;基于MapReduce模型的海量邮件社交关系分析研究[D];南京理工大学;2015年

5 闫晓妩;MapReduce下的约束频繁模式挖掘与任务调度[D];太原科技大学;2015年

6 王强;基于MapReduce的大数据增量处理研究[D];东北大学;2014年

7 魏博文;基于MapReduce的XML编码查询算法研究与实现[D];武汉纺织大学;2016年

8 张鹏;基于MapReduce的分布式社区发现算法研究[D];燕山大学;2016年

9 段秋丹;基于MapReduce的文献发现系统研究与设计[D];山东大学;2016年

10 李青;基于MapReduce的广告点击率预测系统设计与实现[D];云南大学;2016年

，

本文编号：802943