基于电商物流的数据仓库的构建研究

发布时间：2024-03-13 03:36

　　随着互联网的普及和技术的快速发展,“网购”已经成为了人们的生活常态,电子商务行业得到了蓬勃发展,同时也带动物流的崛起;物流作为第三利润源,对电子商务的发展有着很重要的影响。当前的时代是一个信息化的时代,也是一个大数据的时代,数据在今天拥有着很重要的作用,企业的决策者再也不能像以前那样靠着经验来对公司的经营状况做出决策;对企业数据的充分把握,对于公司的经营决策有着举足轻重的影响。在商业战争日益激烈的今天,众多企业都在往着信息化道路迈进,为了在同类型企业中谋求更好的发展,不断提升自身的信息化能力和水平。本文首先分析在电子商务物流中可能需要面临的问题和所要解决的问题,了解熟悉电子商务物流在企业中的需求。为了解决电子商务物流海量数据的不断增加,各个业务系统的数据存在数据孤岛化的现象等问题,本文构建基于电子商务物流的数据仓库来解决以上的问题。对数据仓库的整体体系和架构进行设计。整体数据仓库都是在Hadoop集群环境上进行设计构建,利用数据仓库工具Hive对数据进行处理,Hive会根据开发人员所写的Hive sql程序转化为MapReduce程序或者Spark程序,极大的方便了开发人员对海量数据的...

【文章页数】：87 页

【学位级别】：硕士

【部分图文】：

图１－１?ＨＤＦＳ的运行底层结构和运行流程图??Ｆｉｇｕｒｅ?１－１?Ｕｎｄｅｒｌｙｉｎｇ?ｓｔｒｕｃｔｕｒｅ?ａｎｄ?ｍｎｎｉｎｇ?ｆｌｏｗ?ｏｆ?ｔｈｅ?ＨＤＦＳ??

数据信息，ｄａｔａｎｏｄｅ主要存??储的是用户所要存储的数据???１?鏖十》＾?？?—?ｃｈｅｃｋｐｏｉｎｔ机??■?－?－－，ｎａｍｅｎｏｄｅ?——－——？?ｓｅｃｏｎｄａｒｙ????溝求查询数据???ｈ??ｎａｍｅｎｏｄｅ??客户端??载均衡?心跳机＾副本管理??ａ?，???....

图２－２?Ｙａｒｎ运行时的底层结构和流程图??Ｆｉｇｕｒｅ?２－２?Ｂａｓｉｃ?ｓｔｒｕｃｔｕｒｅ?ａｎｄ?ｆｌｏｗｃｈａｒｔ?ｏｆ?Ｙａｍ?ｒｕｎｎｉｎｇ??

＾ｄｕｌｅｒ??客户端?丨任－夸调酿??＠行?＼?从任务队列中領取任务??ＭＲＡｐｐＭａｓｊ！＞＾ｉｆ＾舰仔务?＼丨从任务Ｐ人列??倩况?＼?１中麵仔努??￣丨?－丨￣??ＭＲＡｐｐＭａｓｔｅｒ????ｃｏｎｔａｉｎｅｒ?ｃｏｎｔａｉｎｅｉ??ｖａｒｎｃｈｉｌｃ：?＇．?ｒ－－￣....

图２－３?Ｈｉｖｅ的底层架构图??Ｆｉｇｕｒｅ?２－３?Ｕｎｄｅｒｌｙｉｎｇ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｈｉｖｅ??

?２数据仓库的相关技术???ＣＬＩ?Ｔｈｒｉｆｔ?Ｓｅｒｖｅｒ??｜?ＪＤＢＣ?｜?１?ＯＤＢＣ?１??ｄｒｉｖｅｒ??ｍｅｔａ?ａ?ｌ?ａ?．凋￥??Ｓｔｏｒｅ?叫?ｐｈｙｓｉｃａｌ?ｑｕｅｒｙ?ｍｒ或??ｐａｒｓｅｒ?ｐｌａｎ?ｏｐｔｉｍｉｚｅｒ?者??解析器?编译器?优化器....

图２－４?ｆｌｕｍｅ的运行流程图??－

?２数据仓库的相关技术???ＣＬＩ?Ｔｈｒｉｆｔ?Ｓｅｒｖｅｒ??｜?ＪＤＢＣ?｜?１?ＯＤＢＣ?１??ｄｒｉｖｅｒ??ｍｅｔａ?ａ?ｌ?ａ?．凋￥??Ｓｔｏｒｅ?叫?ｐｈｙｓｉｃａｌ?ｑｕｅｒｙ?ｍｒ或??ｐａｒｓｅｒ?ｐｌａｎ?ｏｐｔｉｍｉｚｅｒ?者??解析器?编译器?优化器....

本文编号：3927129