基于Hadoop的煤炭企业数据共享系统设计

发布时间：2018-04-16 21:16

  本文选题：煤炭企业 + 云计算　； 参考：《煤炭技术》2017年06期

【摘要】：针对煤炭企业数据处理能力的不足,将云计算技术应用到煤炭企业数据共享体系中,提出了一个利用Hadoop平台对煤炭企业数据进行高效共享的系统。首先,介绍了Hadoop平台及其关键技术;而后建立了应用于煤炭企业的数据共享模型,该模型抽取源数据并通过数据集成存储于数据仓库;最后结合煤炭企业实际需求,设计了数据管理平台,完成了数据集成、模型和并行关联算法的设计。
[Abstract]:Aiming at the shortage of data processing ability of coal enterprises, this paper applies cloud computing technology to the data sharing system of coal enterprises, and puts forward a high efficiency data sharing system based on Hadoop platform.Firstly, the Hadoop platform and its key technologies are introduced, and then a data sharing model is established, which extracts the source data and stores them in the data warehouse through data integration.The data management platform is designed, and the data integration, model and parallel association algorithm are designed.
【作者单位】： 石家庄铁路职业技术学院;
【基金】：河北省高等院校科学技术研究项目(ZC2016137) 河北省科技计划项目(15270330) 河北省高等学校科学技术研究重点基金项目(ZD2016057)
【分类号】：F426.21;TP311.13

【相似文献】

相关期刊论文 前10条

1 逄利华;张锦春;;基于Hadoop的分布式数据库系统[J];办公自动化;2014年05期

2 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

3 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

4 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

5 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

6 ;大数据不等于Hadoop[J];办公自动化;2014年06期

7 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

8 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

9 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

10 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

相关重要报纸文章 前8条

1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年

2 本报记者 王星;Hadoop引发大数据之战[N];电脑报;2012年

3 本报记者 邹大斌;Hadoop一体机降低大数据门槛[N];计算机世界;2012年

4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年

5 乐天　编译;Hadoop：打开大数据之门的金钥匙[N];计算机世界;2012年

6 范范　编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年

7 波波　编译;Hadoop、Web 2.0为磁带带来新商机[N];网络世界;2013年

8 本报记者 郭涛;让更多人能够使用Hadoop[N];中国计算机报;2012年

相关博士学位论文 前1条

1 宋亚奇;云平台下电力设备监测大数据存储优化与并行处理技术研究[D];华北电力大学(北京);2016年

相关硕士学位论文 前10条

1 刘君;基于Hadoop技术的气象数据采集及数据挖掘平台的研究[D];天津理工大学;2015年

2 谭旭;基于物流数据的快递网络分析与建模[D];浙江大学;2015年

3 赵伟;基于Hadoop的数据挖掘算法并行化研究[D];西南交通大学;2015年

4 赵振崇;基于Hadoop的决策树挖掘算法的研究[D];兰州大学;2015年

5 郭凯振;基于Hadoop的分布式计算系统的设计与实现[D];大连海事大学;2015年

6 白亮;基于Hadoop的民航高价值旅客发现方法研究[D];中国民航大学;2015年

7 席屏;基于Hadoop的视频大数据智能预警系统应用研究[D];江苏科技大学;2015年

8 董立明;基于HADOOP的分布式推荐引擎[D];复旦大学;2013年

9 陆艺达;基于Hadoop分布式计算框架的垃圾短信群发检测系统[D];复旦大学;2013年

10 沈德利;基于Hadoop的密文检索关键技术研究[D];西安电子科技大学;2014年

，

本文编号：1760604