基于大数据的企业安全生产预警系统研究
【图文】:
并且将这些值分解成一组相对较小的值,通常情况下,一个Reduce函数会产生零个或逡逑一个输出值。Reduce函数可以处理超出内存容量的值列表,主要是因为它的中间值是由逡逑迭代器提供的,MapReduce执行应用程序的过程如图2.2所示。逡逑z逦用户程序\逡逑广邋N邋\邋fork逡逑X逦Master邋\逦\逡逑Assign邋\邋\逡逑分块1娜逡逑刀块邋3逦—出文件邋1逡逑八逦用户程序逦——>逦Z逡逑分块4逦Reduced逦输出文件逡逑Map阶段逦中间文件逡逑输入文件体地磁盘)逡逑图2.2邋MapReduce计算模型图逡逑Fig.2.2邋MapReduce邋calculation邋model邋diagram逡逑从图2.2中可以看到,与HDFS相同的是MapReduce的计算框架也是主从框架,,逡逑JobTracker和TaskTracker两类后台进程支撑了整个框架,并且计算框架是由一个单独的逡逑主节点JobTracker,再加上多个从节点TaskTracker来共同组成的。Job邋Tracker主要负逡逑责任务调度和集群资源监控(将一个作业的全部任务分布在不同的TaskTracker上执行),逡逑并不参与具体的计算过程,TaskTracker仅负责执行被分配的命令。映射阶段和化简阶段逡逑为MapReduce的两个主要阶段:逡逑映射阶段具体操作:用户输入的数据被分成对应于M个Map任务的M个段。每个逡逑Map操作的输入是数据片段中的键值对<Keyl,Valueld^集合。Map操作通过调用用户逡逑定义的Map函数,来输出中间值键值对<1^2,邋Value2>。接下来,根据中间状态K2逡逑对输出数据集进行排序
数据采集管理模块,企业安全生产数据分析管理模块,企业安全生产数据存储模块,企逡逑业安全生产数据预处理集成管理模块,企业安全生产数据预警管理模块等划分为该系统逡逑的六个主要功能模块。将系统架构图设计为如下图4.2所示:逡逑
【学位授予单位】:上海应用技术大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:X922.2
【相似文献】
相关期刊论文 前10条
1 孙国峰;;金融大数据应用的风险与监管[J];清华金融评论;2017年10期
2 李蕾;;大数据时代美国高等教育改革对中国的启示[J];中国信息技术教育;2017年10期
3 孙煜皓;;基于大数据时代下企业金融服务的发展[J];知识文库;2016年24期
4 张银龙;杨家伟;;城市规划中的大数据应用构想[J];城市地理;2017年08期
5 秦志松;汪勇专;;从形式到实质:大数据下检察办案的优化路径[J];东南法学;2016年01期
6 黄芳芳;;大数据风控是互联网金融的必然趋势[J];卓越理财;2016年12期
7 李艳燕;;试论大数据运用对于高职院校管理创新的影响[J];长江丛刊;2017年12期
8 Robert M.Balzer;王和珍;费翔林;王方;;进入下一代操作系统[J];计算机科学;1989年01期
9 冉冉;刘颖;胡楠;王丹妮;曲睿婷;;大数据环境下的数据治理框架研究及应用[J];电子世界;2018年24期
10 陈水湖;;试论大数据环境下的档案“数据化”管理[J];机电兵船档案;2018年02期
相关会议论文 前10条
1 张锋;;大数据时代江苏的发展目标[A];中国生产力学会第十八届年会专辑[C];2015年
2 王钢;韩瑞民;郑晓蕾;邢晓辉;;智慧检务工作中的数据治理相关问题研究[A];新时代智慧检务建设论文集[C];2019年
3 王含贞;吴君;;医药大数据云平台建设的探索[A];2018年中国药学会药事管理专业委员会年会暨学术研讨会论文集[C];2018年
4 巢红叶;;运用大数据扫黑除恶的路径探讨[A];犯罪学论坛(第五卷)[C];2018年
5 高世光;邓苏;王长缨;;关于ADO+引导数据种类的演变的研究[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
6 周松;邢策梅;王玉芳;;基于知识引擎驱动的智慧城市时空大数据平台构建方法[A];江苏省测绘地理信息学会2018年学术年会论文集[C];2018年
7 李治国;李新卫;;面向5G的移动网络大数据安全策略研究[A];5G网络创新研讨会(2018)论文集[C];2018年
8 曾雄;;数据垄断的竞争分析路径[A];金融创新法律评论(2018年第1辑·总第4辑)[C];2018年
9 刘黎明;;“互联网+大数据”下统一审计组织模式常态化探索——基于地税审计视角[A];江苏省审计机关第七届青年审计论坛论文集[C];2018年
10 徐世杰;金秋;;韩国大数据应用与个人信息保护法律问题及其启示[A];金融创新法律评论(2018年第1辑·总第4辑)[C];2018年
相关重要报纸文章 前10条
1 ;云和恩墨创始人盖国强 但问耕耘 莫问收获[N];中国信息化周报;2019年
2 记者 张格苗;气象大数据行动计划出台[N];中国气象报;2018年
3 奥地利林茨大学 王彬;谈谈大数据产业发展给社会带来的就业机会[N];发展导报;2018年
4 散埠;大数据服务体系让企业更“聪明”[N];中国航天报;2016年
5 本报记者 李光磊;“金融反欺诈”大数据应用前景广阔[N];金融时报;2017年
6 通讯员 吴媛媛 李茂锋;智慧蚌埠渐行渐近[N];中国城市报;2017年
7 赛迪智库网络安全研究所 张莉;资源、资产、资本:数据的价值[N];中国计算机报;2019年
8 本报记者 姜业庆;大数据产业,我们该做哪些准备[N];中国经济时报;2018年
9 李丽;Commvault GO:这是一场关于数据艺术的行动[N];计算机世界;2018年
10 工信部信息化和软件服务业司巡视员 李颖;充分发挥数据价值,推进工业互联网创新发展[N];人民邮电;2019年
相关博士学位论文 前4条
1 李硕豪;基于深度编解码框架的视觉数据理解[D];国防科技大学;2018年
2 卢洪;国家治理中大数据应用问题研究[D];中共中央党校;2018年
3 韦正现;密集水下无线传感器网络组网与评价技术[D];哈尔滨工程大学;2018年
4 张新;区域性防灾减灾信息服务体系研究[D];中国科学院研究生院(遥感应用研究所);2006年
相关硕士学位论文 前10条
1 陈旭东;基于HDFS的4G行卡业务数据的Spark SQL查询优化[D];重庆邮电大学;2019年
2 袁杨;健康体检大数据应用与共享现状的探讨[D];北京协和医学院;2019年
3 陈建辉;大数据在农村社会治理问题中的应用研究[D];南京航空航天大学;2018年
4 刘春圃;基于疾病知识图谱的关联搜索技术研究[D];哈尔滨工业大学;2019年
5 金天琪;海洋类数据交易平台的设计与开发[D];浙江海洋大学;2019年
6 杨轶辰;影视大数据研究[D];西安电子科技大学;2019年
7 曹玉洁;基于大数据的企业安全生产预警系统研究[D];上海应用技术大学;2019年
8 李楠;大数据时代云南省“互联网+政务服务”优化研究[D];云南大学;2018年
9 冯中威;大数据时代政府信息公开问题研究[D];山东农业大学;2019年
10 李站强;大数据时代地方政府间协同研究[D];华北理工大学;2019年
本文编号:2609068
本文链接:https://www.wllwen.com/kejilunwen/anquangongcheng/2609068.html