面向物流信息的大数据平台的设计与实现
发布时间：2021-02-26 12:18
随着物流信息化水平的不断升,物流信息开始体现大数据量、高实时性、异构数据类型的特性。物流企业使用的传统单机式、结构化的物流信息系统,没有针对物流信息的这些新特性进行优化和改善。由于物流信息能否被高效处理会影响物流企业竞争力从而影响整个物流领域的发展,因此工业界与学术界在相关课题均有广泛的研究。但是相关的物流大数据平台在实时计算、平台管理、数据采集等方面仍存在不足之处,因此本文的研究具有必要性。本文的主要工作与创新如下:（1）本文对面向物流信息的大数据平台的相关功能性需求与非功能性需求进行了分析,研究了平台相关重要的框架技术,根据需求和调研的框架技术形成了平台需求解决的思路,主要包括实时数据处理解决方案、微服务化的大数据服务管理系统、数据访问机制,指导了平台的设计与实现。（2）根据需求解决的思路设计了平台的总体框架,强调了平台是由大数据基础系统和大数据服务管理系统组成。大数据基础系统通过大数据框架技术进行扩展和集成后构成平台的基础架构;创新性地设计微服务化的大数据服务管理系统,为平台供可视化、日志服务和数据统一访问功能。根据思路从平台层面设计了认证机制、数据访问机制、数据缓存机制、日志机...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：118 页
【学位级别】：硕士
【部分图文】：
Hadoop如图2-1所示[34]
用 Hive SQL 读取，写入和管理驻留在分布式影到已存储的数据上。它 供了一个命令行工现数据仓库任务（如 取/转换/加载（ETL），，利用 Hive QL 规则处理引擎将 Hive SQL 转作。Baseop 平台中的一个大数据分布式面向列的数据库据模型，类似于谷歌的大表设计，可以 供快载在 HDFS 上再一层封装的 NoSQL 数据库，基础架构
华南理工大学硕士学位论文，包括 Spark SQL 用于结构化数据的处理，MLlib 用于机 Spark Streaming 用于实时数据处理。自身的大数据处理引擎相当于 Hadoop 框架中的 MapRed MapReduce 本身支持的功能，还通过将数据抽象为弹业抽象为有向无环图（DAG），利用内存 高数据处理性供了更加丰富的算子，如 filter、join、groupByKey 等。ark 任务执行示例，Spark 任务首先由一个驱动程序准备群管理器，由集群管理器在集群中分配工作节点，将任务执行情况向集群管理器汇报，并且工作节点之间可以
【参考文献】：
期刊论文
[1]基于Spring Cloud实现业务系统微服务化的设计与实现[J]. 王方旭. 电子技术与软件工程. 2018(08)
[2]基于Spring Cloud和Docker的微服务架构设计[J]. 王方旭. 中国信息化. 2018(03)
[3]大数据环境下的分布式数据流处理关键技术探析[J]. 陈付梅,韩德志,毕坤,戴永涛. 计算机应用. 2017(03)
[4]大数据技术的应用现状与展望[J]. 廖建新. 电信科学. 2015(07)
[5]分布式流处理技术综述[J]. 崔星灿,禹晓辉,刘洋,吕朝阳. 计算机研究与发展. 2015(02)
[6]大数据平台技术综述[J]. 宫夏屹,李伯虎,柴旭东,谷牧. 系统仿真学报. 2014(03)
[7]基于OAuth2协议的服务与服务之间的安全认证[J]. 陈永,张健,韩兆吉. 电脑编程技巧与维护. 2013(24)
[8]Maven在Java项目中的引入及应用[J]. 江日念,林霞,乔德新. 电脑知识与技术. 2013(21)
[9]大数据管理:概念、技术与挑战[J]. 孟小峰,慈祥. 计算机研究与发展. 2013(01)
[10]当前我国的物流技术与集成的现状探讨[J]. 张伟,郑磊. 物流工程与管理. 2011(08)
硕士论文
[1]基于大数据理论的供应链需求管理研究[D]. 吴向向.北京建筑大学 2017
[2]基于分布式架构的物流平台设计与实现[D]. 任鹏彦.电子科技大学 2017
[3]复杂事件处理与RFID中间件的应用集成技术研究[D]. 张一弓.华南理工大学 2016
本文编号：3052577
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：118 页
【学位级别】：硕士
【部分图文】：
Hadoop如图2-1所示[34]
用 Hive SQL 读取，写入和管理驻留在分布式影到已存储的数据上。它 供了一个命令行工现数据仓库任务（如 取/转换/加载（ETL），，利用 Hive QL 规则处理引擎将 Hive SQL 转作。Baseop 平台中的一个大数据分布式面向列的数据库据模型，类似于谷歌的大表设计，可以 供快载在 HDFS 上再一层封装的 NoSQL 数据库，基础架构
华南理工大学硕士学位论文，包括 Spark SQL 用于结构化数据的处理，MLlib 用于机 Spark Streaming 用于实时数据处理。自身的大数据处理引擎相当于 Hadoop 框架中的 MapRed MapReduce 本身支持的功能，还通过将数据抽象为弹业抽象为有向无环图（DAG），利用内存 高数据处理性供了更加丰富的算子，如 filter、join、groupByKey 等。ark 任务执行示例，Spark 任务首先由一个驱动程序准备群管理器，由集群管理器在集群中分配工作节点，将任务执行情况向集群管理器汇报，并且工作节点之间可以
【参考文献】：
期刊论文
[1]基于Spring Cloud实现业务系统微服务化的设计与实现[J]. 王方旭. 电子技术与软件工程. 2018(08)
[2]基于Spring Cloud和Docker的微服务架构设计[J]. 王方旭. 中国信息化. 2018(03)
[3]大数据环境下的分布式数据流处理关键技术探析[J]. 陈付梅,韩德志,毕坤,戴永涛. 计算机应用. 2017(03)
[4]大数据技术的应用现状与展望[J]. 廖建新. 电信科学. 2015(07)
[5]分布式流处理技术综述[J]. 崔星灿,禹晓辉,刘洋,吕朝阳. 计算机研究与发展. 2015(02)
[6]大数据平台技术综述[J]. 宫夏屹,李伯虎,柴旭东,谷牧. 系统仿真学报. 2014(03)
[7]基于OAuth2协议的服务与服务之间的安全认证[J]. 陈永,张健,韩兆吉. 电脑编程技巧与维护. 2013(24)
[8]Maven在Java项目中的引入及应用[J]. 江日念,林霞,乔德新. 电脑知识与技术. 2013(21)
[9]大数据管理:概念、技术与挑战[J]. 孟小峰,慈祥. 计算机研究与发展. 2013(01)
[10]当前我国的物流技术与集成的现状探讨[J]. 张伟,郑磊. 物流工程与管理. 2011(08)
硕士论文
[1]基于大数据理论的供应链需求管理研究[D]. 吴向向.北京建筑大学 2017
[2]基于分布式架构的物流平台设计与实现[D]. 任鹏彦.电子科技大学 2017
[3]复杂事件处理与RFID中间件的应用集成技术研究[D]. 张一弓.华南理工大学 2016
本文编号：3052577
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3052577.html
