大数据环境下一种基于学习的实体识别方法

发布时间：2017-11-30 07:05

  本文关键词：大数据环境下一种基于学习的实体识别方法

  更多相关文章： 大数据 实体识别 Hadoop MapReduce

【摘要】：针对传统实体识别方法的主要研究对象是小数据集并且对结果的准确性关注较高的情况,在大数据的背景下提出了一种利用Hadoop平台和MapReduce框架的基于学习的实体识别方法。通过对MapReduce框架流程的分析,运行基于机器学习的算法,并行处理数据集来识别出数据实体。实验表明,该方法提高了实体识别的效果,具有很好的处理性能和效果,满足了识别海量数据中实体的需求。
【作者单位】： 齐鲁工业大学信息学院;
【基金】：山东省科技发展计划(2014GGX101052)
【分类号】：TP311.13
【正文快照】： 随着信息技术的不断发展和进步,越来越多的工业企业进入工业自动化阶段,伴随着工业企业的不断发展,数据库中产生了越来越多的数据,其中,结构化数据、半结构化数据甚至非结构化数据[1]正以指数级的速度增长,由此构成的大数据环境给企业处理这些数据带来了越来越多的麻烦。大数

【参考文献】

中国期刊全文数据库 前1条

1 杨东华;李宁宁;王宏志;李建中;高宏;;基于任务合并的并行大数据清洗过程优化[J];计算机学报;2016年01期

【共引文献】

中国期刊全文数据库 前8条

1 许抗震;吴云;;基于Hadoop的网络日志挖掘方案的设计[J];现代电子技术;2017年09期

2 杨帆;李显忠;潘可佳;龚艳;曾愚;刘捷;赵以兵;;基于大数据分析的供电营业厅运营效率评估[J];电力信息与通信技术;2017年02期

3 马平全;宋凯;纪建伟;;基于N-Gram算法的数据清洗技术[J];沈阳工业大学学报;2017年01期

4 宋杰;孙宗哲;毛克明;鲍玉斌;于戈;;MapReduce大数据处理平台与算法研究进展[J];软件学报;2017年03期

5 李鹏;王润泽;冯剑龙;薛坤;;大数据环境下一种基于学习的实体识别方法[J];齐鲁工业大学学报(自然科学版);2016年05期

6 杜岳峰;申德荣;聂铁铮;寇月;于戈;;基于关联数据的一致性和时效性清洗方法[J];计算机学报;2017年01期

7 尹国丽;;人工智能在数据清洗中的应用[J];电子世界;2016年16期

8 李建中;王宏志;高宏;;大数据可用性的研究进展[J];软件学报;2016年07期

【二级参考文献】

中国期刊全文数据库 前3条

1 张安珍;门雪莹;王宏志;李建中;高宏;;大数据上基于Hadoop的不一致数据检测与修复算法[J];计算机科学与探索;2015年09期

2 霍然;王宏志;朱摂;李建中;高宏;;基于Map-Reduce的大数据实体识别算法[J];计算机研究与发展;2013年S2期

3 金连;王宏志;黄沈滨;高宏;;基于Map-Reduce的大数据缺失值填充算法[J];计算机研究与发展;2013年S1期

【相似文献】

中国期刊全文数据库 前10条

1 施水才;俞鸿魁;吕学强;李渝勤;;基于大规模语料的新词语识别方法[J];山东大学学报(理学版);2006年03期

2 苏家洪;;试述人脸识别新技术及编辑识别方法[J];中国新技术新产品;2012年07期

3 高春庚;孙建国;;基于统计的人脸识别方法综述[J];安阳工学院学报;2012年04期

4 马彬;洪宇;杨雪蓉;姚建民;朱巧明;;基于语义依存线索的事件关系识别方法研究[J];北京大学学报(自然科学版);2013年01期

5 马彬;洪宇;杨雪蓉;姚建民;朱巧明;;基于推理线索构建的事件关系识别方法[J];北京大学学报(自然科学版);2014年01期

6 吕冬梅,刘燕萍,李云凯;一个新的机械图纸识别方法[J];信息技术;2001年03期

7 刘志鹏,魏君;基于神经网络的集装箱编号识别方法的研究[J];中国包装工业;2002年09期

8 贺敏;龚才春;张华平;程学旗;;一种基于大规模语料的新词识别方法[J];计算机工程与应用;2007年21期

9 董世都;黄同愿;王华秋;王森;杨小帆;;半边人脸识别方法[J];计算机工程;2008年07期

10 方晓春;;一种优化的角色识别方法[J];计算机应用与软件;2009年04期

中国重要会议论文全文数据库 前10条

1 郑凯;;建立多维数据异常点识别方法的尝试[A];第八届全国体育科学大会论文摘要汇编（一）[C];2007年

2 张朋柱;韩崇昭;万百五;;智能决策支持系统中的问题识别方法与实现[A];全国青年管理科学与系统科学论文集（第2卷）[C];1993年

3 刘丽兰;刘宏昭;;时间序列模型的识别方法[A];制造技术自动化学术会议论文集[C];2004年

4 苗振伟;许勇;杨军;;超声波人脸识别方法研究[A];中国声学学会2007年青年学术会议论文集（上）[C];2007年

5 罗智勇;宋柔;荀恩东;;一种基于可信度的人名识别方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年

6 张茜;郑峥;亢一澜;王娟;仇巍;;基于海量实测数据的反演识别方法与盾构装备载荷的力学建模[A];中国力学大会——2013论文摘要集[C];2013年

7 赵锐;陈光发;;军事口令识别的Fuzzy方法探讨[A];第二届全国人机语音通讯学术会议论文集[C];1992年

8 骆玉荣;刘建丽;史晓涛;;一种自动车窗识别方法的设计与实现[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

9 崔凯华;王国庆;方剑青;李红军;贾俊波;马超;赵烨;张东辉;;基于声模态分析的材料识别方法研究[A];现代振动与噪声技术（第九卷）[C];2011年

10 李洪东;梁逸曾;张志敏;;酵母蛋白组中原生肽识别方法的探索研究[A];中国化学会第26届学术年会化学信息学与化学计量学分会场论文集[C];2008年

中国重要报纸全文数据库 前9条

1 陈春道;甲鱼优劣及雌雄的识别方法[N];北京科技报;2003年

2 庞席堂;假币的识别方法[N];中华合作时报;2003年

3 王修增;手机被盗号的6种识别方法[N];中国保险报;2003年

4 张侃;正品手机电池识别方法[N];通信产业报;2000年

5 潘 治;德国开发出癌症早期识别方法[N];中国中医药报;2003年

6 新华社记者 段世文;产权证识别方法[N];新华每日电讯;2001年

7 金亮;机器人的情感[N];中国医药报;2001年

8 黄璐;识别假火车票有绝招[N];山西经济日报;2004年

9 宗绍纯;如何识别是纯奶还是奶饮料？[N];国际商报;2003年

中国博士学位论文全文数据库 前10条

1 赵国腾;跨座式单轨交通轨道梁表面裂纹识别方法研究[D];重庆大学;2015年

2 徐训;线性与非线性结构动力荷载识别方法及实验研究[D];哈尔滨工业大学;2015年

3 付文亮;基于FPGA的高性能应用层协议识别方法研究[D];北京理工大学;2015年

4 陈飞飞;基于特征表示的行为识别方法研究[D];华中科技大学;2015年

5 黄仕建;视频序列中人体行为的低秩表达与识别方法研究[D];重庆大学;2015年

6 张航;基于高光谱成像技术的皮棉中地膜识别方法研究[D];中国农业大学;2016年

7 吴翔;基于机器视觉的害虫识别方法研究[D];浙江大学;2016年

8 张莉莉;竞优特征的群识别方法及其应用[D];东北大学;2010年

9 陈绵书;计算机人脸识别方法研究[D];吉林大学;2004年

10 叶俊勇;人脸检测与识别方法研究[D];重庆大学;2002年

中国硕士学位论文全文数据库 前10条

1 徐珂琼;基于视频的人脸识别方法研究[D];天津理工大学;2015年

2 彭姣丽;针对多表情的人脸识别方法研究[D];昆明理工大学;2015年

3 代秀丽;基于半监督判别分析的人脸识别方法研究[D];深圳大学;2015年

4 易磊;基于两阶段的交通标志识别方法研究[D];南京理工大学;2015年

5 李彦;基于小波变换的人脸识别方法研究[D];电子科技大学;2014年

6 田晓霞;运动想象EEG的识别方法及在上肢康复中的应用[D];北京工业大学;2015年

7 杨俊涛;基于分数谱时频特征的SAR目标检测与识别方法研究[D];电子科技大学;2014年

8 宋洪伟;基于模糊集合的汉语主观句识别方法研究与实现[D];黑龙江大学;2015年

9 贾博轩;基于手机传感器的人类复杂行为识别方法的研究[D];黑龙江大学;2015年

10 范玲;Link-11数据链信号的识别方法研究[D];西安电子科技大学;2014年

，

本文编号：1238434