基于智能制造的数据仓库的设计与实现
发布时间：2021-03-29 02:37
《中国制造2025》提出了建设制造业强国的目标,中国的制造业逐渐迈入智能制造时代。随着智能制造的发展和信息化建设的普及,制造业企业的智能终端、传感器和工业软件在生产中会产生海量的业务数据,这些海量的业务数据一般都具有大数据的基本特征,但是企业对这些工业大数据的存储和计算都相对困难。同时,在企业中信息化建设中,由于信息隔离、数据驳杂和标准不统一等原因,各个工业软件间数椐隔离,在企业中产生了“信息孤岛”现象。“信息孤岛”现象使得生产数据未得到充分整合和应用,严重制约了以数据为驱动的智能制造模式的发展。如何解决工业大数据的存储与计算问题,帮助企业消除“信息孤岛”现象,从海量的数据中找到有价值的信息,在企业智能制造的发展中具有重要的意义。针对上述问题,本文以制造业中仓储业务为例进行研究,采用大数据+数据仓库的方式对仓储历史订单数据进行处理和分析,主要解决数据存储、计算困难和数据不互通的问题。设计并实现了一个基于Spark+Impala的分布式数据仓库系统,对制造业仓储业务的相关数据进行统一处理,最后利用数据挖掘和可视化技术将工业软件中的数据进行应用,解决仓库货位摆放的问题,实现工业软件中数据的...
【文章来源】：南昌大学江西省 211工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
图２．１?Ｋｉｍｂａ丨１的ＤＷ／Ｂ卜架构模销??
ｌｌ资源。丨ｆｌ］?Ｗｏｒｋｅｒ主要负ｋ：力ＥｘｅｃｕＵ）ｒ?（执彳ｊ？器）外为Ｋｘｅｃｕｔｏｒ分Ｗ资??源。Ｓｐａ丨？！＜：?ｏｎ?Ｙａｍ?足?Ｓｐａｒｋ?堪于?Ｙａｒｎ?的运汗？?Ｓｐａｒｋ?ｏｎ?Ｙａｒｎ?丨丨丨，由?Ｙａｒｎ??的?ＲｅｓｏｕｒｃｅＭａｎａｇｅｉ．?ｆ々代?Ｍａｓｔｅｒ，ＮｏｄｅＭａｎａｇｅｒ?ｆ々代?Ｗｏｒｋｅｒ，、义：现?ｆ?资源的统？??管理。??无论是哪种形式，它们都有？致的架构模式；，都是ｆｆｉ?ｒＭａｓｔｅｒ／Ｓｌａｖｅｓ的主从??架构。它们的架构如图２．３所不。?????Ｄｒｉｖｅｒ??Ｃｌｉｅｎｔ??？??ＳｐａｒｋＣｏｎｔｅｘｔ?，??ｖ??Ｙａｒｎ／Ｓｔａｎｄａ?ｏｎｅ等集Ｉ２冒逗器???＾??节点１?芳点２?节点３??Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ??Ｔａｓｋ?Ｔａｓｋ?丁ａｓｋ??Ｔａｓｋ?Ｔａｓｋ?Ｔａｓｋ??图２．３?Ｓｐａｒｋ架构模型图??符先山Ｃｌｉｅｎｔ向集群提交任务，集群中的坫？个节点运行该程序汴成为该??务的丨）ｒｉｖｅｒ?（！｝Ｒ动器），之）５交山（ｌｕｓｔｅｒ?Ｍａｎａｇｅｒ?（Ｕ、丨丨丫丨器）ｊ射ｒｆ「：务、资??源的分配和节点的监拽。在集群的每？个节点中都存彳１：?＿个丨Ｅｘｅｃｕｔｏｒ，｜〖１丨Ｅｘｅｃｕｔｏｒ??是计算住务实际的执行者，负贵ｉ丨党程序，１（１浓毎个Ｅｘｅｃｕｔｏｒ屮存／Ｉ：?？个或??１３??
?第３章ＥＴＬ系统的设计???（２）通过Ｃｌｉｅｎｔ提交的Ｋｅｔｔｌｅ脚本，Ｋｅｔｔｌｅ集群执行编辑好的ＥＴＬ过程，??最后把ＥＴＬ过程的结果输出到ＯＤＳ数据库中，作为数据缓存。??（３）在一定时间期限后，Ｃｌｉｅｎｔ开始执行Ｓｑｏｏｐ脚本，利用Ｓｑｏｏｐ抽取ＯＤＳ??数据库中的数据，该步骤使用多线程操作，以提高效率。??（４）数据抽取完成后加载到数据仓库中，即分布式文件系统ＨＤＦＳ中，随??后关闭输出流和应用程序。??ＨＤＦＳ?Ｉ??＇Ｔ＂＂＇?Ｔ￣?ｌｉ，??Ｓｑｏｏｐ?Ｉ??ＯＤＳ??：…?ｆ?ｓ??ｆ?ｆ?ｆ??！?ｋｅｔｔｌｅ?Ｉ?！?ｋｅｔｔｌｅ?Ｉ?ｊ?ｋｅｔｔｌｅ?１??ｌ?１?ｉ?ｉ?［?ｉ??ｆ??图３．１分布式ＥＴＬ架构模型图??３．３分布式ＥＴＬ系统的模型设计??数据的ＥＴＬ过程是构建数据仓库至关重要的－步，主要用于从源事务系统??２２??
【参考文献】：
期刊论文
[1]基于MapReduce和Spark的大数据主动学习比较研究[J]. 翟俊海,齐家兴,沈矗,宋丹丹,王谟瀚,田石. 计算机工程与科学. 2019(10)
[2]智能数据管理与分析技术专刊前言[J]. 樊文飞,王国仁,王朝坤. 软件学报. 2019(03)
[3]工业智能网——工业互联网的深化与升级[J]. 张平,刘会永,李文璟,周凡钦. 通信学报. 2018(12)
[4]面向服务的智能制造[J]. 陶飞,戚庆林. 机械工程学报. 2018(16)
[5]生命周期大数据驱动的复杂产品智能制造服务新模式研究[J]. 任杉,张映锋,黄彬彬. 机械工程学报. 2018(22)
[6]工业大数据分析技术的发展及其面临的挑战[J]. 何文韬,邵诚. 信息与控制. 2018(04)
[7]工业互联网的体系框架与关键技术——解读《工业互联网:体系与技术》[J]. 夏志杰. 中国机械工程. 2018(10)
[8]MapReduce与Spark用于大数据分析之比较[J]. 吴信东,嵇圣硙. 软件学报. 2018(06)
[9]全面实现数字化是通向智能制造的必由之路——解读《智能制造之路:数字化工厂》[J]. 唐堂,滕琳,吴杰,陈明. 中国机械工程. 2018(03)
[10]对工业4.0背景下的智能制造的回顾[J]. 钟润阳,徐旬,Eberhard Klotz,Stephen T.Newman. Engineering. 2017(05)
硕士论文
[1]基于关联规则的货位分配和订单分批优化研究[D]. 李亚芳.北京交通大学 2019
[2]非传统布局仓储货位分配与拣选作业优化研究[D]. 胡颖聪.南昌大学 2019
[3]分布式数据存储关键技术研究[D]. 张永福.南京邮电大学 2016
[4]基于Hadoop的非结构化文本数据ETL系统设计与实现[D]. 习云峰.中国科学院大学(工程管理与信息技术学院) 2016
[5]基于Spark的数据管理平台的设计与实现[D]. 刘鹏.浙江大学 2016
本文编号：3106733
【文章来源】：南昌大学江西省 211工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
图２．１?Ｋｉｍｂａ丨１的ＤＷ／Ｂ卜架构模销??
ｌｌ资源。丨ｆｌ］?Ｗｏｒｋｅｒ主要负ｋ：力ＥｘｅｃｕＵ）ｒ?（执彳ｊ？器）外为Ｋｘｅｃｕｔｏｒ分Ｗ资??源。Ｓｐａ丨？！＜：?ｏｎ?Ｙａｍ?足?Ｓｐａｒｋ?堪于?Ｙａｒｎ?的运汗？?Ｓｐａｒｋ?ｏｎ?Ｙａｒｎ?丨丨丨，由?Ｙａｒｎ??的?ＲｅｓｏｕｒｃｅＭａｎａｇｅｉ．?ｆ々代?Ｍａｓｔｅｒ，ＮｏｄｅＭａｎａｇｅｒ?ｆ々代?Ｗｏｒｋｅｒ，、义：现?ｆ?资源的统？??管理。??无论是哪种形式，它们都有？致的架构模式；，都是ｆｆｉ?ｒＭａｓｔｅｒ／Ｓｌａｖｅｓ的主从??架构。它们的架构如图２．３所不。?????Ｄｒｉｖｅｒ??Ｃｌｉｅｎｔ??？??ＳｐａｒｋＣｏｎｔｅｘｔ?，??ｖ??Ｙａｒｎ／Ｓｔａｎｄａ?ｏｎｅ等集Ｉ２冒逗器???＾??节点１?芳点２?节点３??Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ?Ｅｘｅｃｕｔｏｒ??Ｔａｓｋ?Ｔａｓｋ?丁ａｓｋ??Ｔａｓｋ?Ｔａｓｋ?Ｔａｓｋ??图２．３?Ｓｐａｒｋ架构模型图??符先山Ｃｌｉｅｎｔ向集群提交任务，集群中的坫？个节点运行该程序汴成为该??务的丨）ｒｉｖｅｒ?（！｝Ｒ动器），之）５交山（ｌｕｓｔｅｒ?Ｍａｎａｇｅｒ?（Ｕ、丨丨丫丨器）ｊ射ｒｆ「：务、资??源的分配和节点的监拽。在集群的每？个节点中都存彳１：?＿个丨Ｅｘｅｃｕｔｏｒ，｜〖１丨Ｅｘｅｃｕｔｏｒ??是计算住务实际的执行者，负贵ｉ丨党程序，１（１浓毎个Ｅｘｅｃｕｔｏｒ屮存／Ｉ：?？个或??１３??
?第３章ＥＴＬ系统的设计???（２）通过Ｃｌｉｅｎｔ提交的Ｋｅｔｔｌｅ脚本，Ｋｅｔｔｌｅ集群执行编辑好的ＥＴＬ过程，??最后把ＥＴＬ过程的结果输出到ＯＤＳ数据库中，作为数据缓存。??（３）在一定时间期限后，Ｃｌｉｅｎｔ开始执行Ｓｑｏｏｐ脚本，利用Ｓｑｏｏｐ抽取ＯＤＳ??数据库中的数据，该步骤使用多线程操作，以提高效率。??（４）数据抽取完成后加载到数据仓库中，即分布式文件系统ＨＤＦＳ中，随??后关闭输出流和应用程序。??ＨＤＦＳ?Ｉ??＇Ｔ＂＂＇?Ｔ￣?ｌｉ，??Ｓｑｏｏｐ?Ｉ??ＯＤＳ??：…?ｆ?ｓ??ｆ?ｆ?ｆ??！?ｋｅｔｔｌｅ?Ｉ?！?ｋｅｔｔｌｅ?Ｉ?ｊ?ｋｅｔｔｌｅ?１??ｌ?１?ｉ?ｉ?［?ｉ??ｆ??图３．１分布式ＥＴＬ架构模型图??３．３分布式ＥＴＬ系统的模型设计??数据的ＥＴＬ过程是构建数据仓库至关重要的－步，主要用于从源事务系统??２２??
【参考文献】：
期刊论文
[1]基于MapReduce和Spark的大数据主动学习比较研究[J]. 翟俊海,齐家兴,沈矗,宋丹丹,王谟瀚,田石. 计算机工程与科学. 2019(10)
[2]智能数据管理与分析技术专刊前言[J]. 樊文飞,王国仁,王朝坤. 软件学报. 2019(03)
[3]工业智能网——工业互联网的深化与升级[J]. 张平,刘会永,李文璟,周凡钦. 通信学报. 2018(12)
[4]面向服务的智能制造[J]. 陶飞,戚庆林. 机械工程学报. 2018(16)
[5]生命周期大数据驱动的复杂产品智能制造服务新模式研究[J]. 任杉,张映锋,黄彬彬. 机械工程学报. 2018(22)
[6]工业大数据分析技术的发展及其面临的挑战[J]. 何文韬,邵诚. 信息与控制. 2018(04)
[7]工业互联网的体系框架与关键技术——解读《工业互联网:体系与技术》[J]. 夏志杰. 中国机械工程. 2018(10)
[8]MapReduce与Spark用于大数据分析之比较[J]. 吴信东,嵇圣硙. 软件学报. 2018(06)
[9]全面实现数字化是通向智能制造的必由之路——解读《智能制造之路:数字化工厂》[J]. 唐堂,滕琳,吴杰,陈明. 中国机械工程. 2018(03)
[10]对工业4.0背景下的智能制造的回顾[J]. 钟润阳,徐旬,Eberhard Klotz,Stephen T.Newman. Engineering. 2017(05)
硕士论文
[1]基于关联规则的货位分配和订单分批优化研究[D]. 李亚芳.北京交通大学 2019
[2]非传统布局仓储货位分配与拣选作业优化研究[D]. 胡颖聪.南昌大学 2019
[3]分布式数据存储关键技术研究[D]. 张永福.南京邮电大学 2016
[4]基于Hadoop的非结构化文本数据ETL系统设计与实现[D]. 习云峰.中国科学院大学(工程管理与信息技术学院) 2016
[5]基于Spark的数据管理平台的设计与实现[D]. 刘鹏.浙江大学 2016
本文编号：3106733
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3106733.html
最近更新
教材专著
