基于Hive架构的物流运力供应链数据仓库及运力匹配模型优化研究

发布时间：2017-11-15 10:26

  本文关键词：基于Hive架构的物流运力供应链数据仓库及运力匹配模型优化研究

  更多相关文章： 物流运力供应链 Hive 数据仓库 异构数据 运力匹配

【摘要】：随着互联网和物联网的高速发展,物流行业中运力供应链数据规模正在逐渐增大,为了充分利用海量物流运力数据为物流企业提供决策支持,从而保障物流运力行业安全、高效地运行。构建一个强大的分布式数据仓库平台,研究海量物流运力供应链数据存储和决策应用等方面具有重要的意义。本文针对当前物流运力行业中传统数据库在海量数据存储和提供决策支持等方面的不足,提出了基于Hive架构的物流运力供应链数据仓库的构建方法。通过对课题联合研究的某企业(以下简称企业)中多个应用系统的运力供应链数据分析、整合,实现系统之间运力数据共享。针对海量运力供应链数据分析和决策需求,设计并优化了运力匹配原始模型,通过Hive数据仓库为企业的运力匹配提供决策支持。本文的具体研究工作如下:(1)提出基于Hive架构的物流运力供应链数据仓库构建方法。运用该方法,在多台阿里云服务器上搭建完全分布式的Hive数据仓库。(2)针对企业中多个应用系统的异构运力数据源,通过基于Hive数据仓库的整合方式整合多个运力数据源,将整合后的运力数据导入数据仓库,实现多个系统之间的运力数据共享。(3)针对企业中的一个运力调度子系统,设计并优化了运力匹配模型,结合Hive数据仓库可以匹配多个系统之间的车辆信息,同时为企业运力匹配提供辅助决策依据。(4)结合企业提供的数据源以及构建的Hive数据仓库,通过数据对比分析Oracle、Mysql、Impala以及Hive的查询效率,并实现多源异构运力数据共享和优化后的运力匹配模型。
【学位授予单位】：四川师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 史金红,吴永明;影响数据仓库成功的关键因素[J];电子工程师;2000年01期

2 宋玉长,李本勇,郭小红;如何构建银行数据仓库[J];上海微型计算机;2000年47期

3 贾纳豫;数据仓库的概念与机制[J];玉溪师范学院学报;2000年S1期

4 陈京民;数据仓库开发的规划研究[J];计算机与网络;2000年09期

5 杨顺生;数据仓库锁紧商业银行(上)[J];中国计算机用户;2000年04期

6 ;数据仓库仔细看[J];每周电脑报;2000年10期

7 禾川;;数据仓库起热潮之应用篇[J];每周电脑报;2000年48期

8 杨顺生;;中国商业银行应实施数据仓库[J];金融电子化;2000年03期

9 顾晓姝;;数据仓库体系及其实现[J];运城高等专科学校学报;2000年S1期

10 袁磊,陈长清,冯玉才;数据仓库的信息供应链模型[J];计算机工程与应用;2001年22期

中国重要会议论文全文数据库 前10条

1 陈金雄;刘雄飞;王庆森;;医院数据仓库的设计与实现[A];首届中国IT与医药卫生高层论坛论文集[C];2004年

2 何朝红;;数据仓库在我国企业的应用现状及实施策略分析[A];广西计算机学会2006年年会论文集[C];2006年

3 刘奇;;肿瘤专业数据仓库的建立[A];第四届中国肿瘤学术大会暨第五届海峡两岸肿瘤学术会议教育集[C];2006年

4 郭远远;舒红平;宫蕊;;基于数据仓库的构建和马尔可夫过程的应用研究[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

5 金周;;基于数据仓库的能耗指标查询体系[A];全国冶金自动化信息网2009年会论文集[C];2009年

6 李洁;李庆忠;王海洋;;一种有效的在线修改数据仓库算法[A];第十六届全国数据库学术会议论文集[C];1999年

7 冯建华;蒋旭东;刘建民;周立柱;;面向市场分析与预测的数据仓库平台[A];第十六届全国数据库学术会议论文集[C];1999年

8 王晓玲;谢鸿强;刘安;董逸生;;数据仓库建模工具的研制[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

9 张德辉;李建中;;多维压缩数据仓库上的并行聚集算法[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

10 潘海为;李建中;;数据仓库的并行加载算法[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

中国重要报纸全文数据库 前10条

1 本报记者　　于　岫;建设数据仓库 打造信息时代的“航母”[N];中国国门时报;2005年

2 庄川 编译;如何迈出实施数据仓库的第一步[N];中国计算机报;2005年

3 本报记者 龚杰;数据仓库解决策之惑[N];计算机世界;2004年

4 记者 王璐;上证所建成中国金融业最大数据仓库[N];上海证券报;2005年

5 ;数据仓库的历史[N];中华读书报;2003年

6 万振龙;动态数据仓库承接历史与未来[N];网络世界;2009年

7 本报记者 薛斐;数据仓库沙中淘金[N];计算机世界;2002年

8 本报记者 王向东;“数据仓库不是玩酷”[N];计算机世界;2003年

9 本报记者 潘永花;数据仓库峥嵘时[N];网络世界;2003年

10 本报记者 潘永花;数据仓库创新与众不同[N];网络世界;2010年

中国博士学位论文全文数据库 前10条

1 宋旭东;企业集团数据仓库系统关键技术研究[D];大连理工大学;2010年

2 陈燕;数据仓库的设计与实现[D];大连理工大学;2000年

3 冯玉;数据仓库环境中近似查询处理技术研究[D];中国科学院研究生院（计算技术研究所）;2002年

4 孙剑;海洋环境数据仓库与数据挖掘应用研究[D];中国海洋大学;2011年

5 栗然;电力负荷分析与预测的分布式数据仓库和数据挖掘研究[D];华北电力大学（河北）;2009年

6 李学锋;矿山企业数据仓库的应用研究[D];昆明理工大学;2005年

7 马军杰;基于数据仓库与联机处理的区域经济发展管理决策支持系统研究[D];华东师范大学;2007年

8 陈金玉;数据仓库实体化视图联机—致性维护研究[D];重庆大学;2002年

9 赵贵菊;勘探开发数据仓库的模型研究和应用[D];中国地质大学（北京）;2010年

10 朱传华;三峡库区地质灾害数据仓库与数据挖掘应用研究[D];中国地质大学;2010年

中国硕士学位论文全文数据库 前10条

1 李佳航;基于数据仓库的银行中间业务系统研究[D];厦门大学;2008年

2 王R，

本文编号：1189417