当前位置:主页 > 科技论文 > 软件论文 >

流量经营系统中数据仓库调度子系统的设计与实现

发布时间:2018-10-10 06:48
【摘要】:在当前竞争日益激烈的互联网时代下,数据的及时获取成为企业成功的关键所在。商业智能以挖掘数据中的信息为目的,以数据搜集、管理和分析为手段,使用户从数据中获得对于商业市场更好的洞察力和决策力。数据仓库作为为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合,成为商业智能中数据建模的核心环节。本文的数据仓库包括对仓外分散数据、仓内整合数据的ETL过程以及对上层应用提供决策支持三大部分,而调度系统作为数据仓库处理数据的核心控制工具起到了重要的作用。本文设计实现了完整的处理仓内仓外数据的数据仓库调度系统,达到稳定、高效、快捷的处理数据,阐述了处理仓内仓外数据的数据仓库调度系统的设计原理,并依托流量经营项目给出该设计方案在现实业务中的应用。数据仓库调度系统是流量经营项目中的数据处理核心,负责平台统计分析源数据的工作流的调度,从而完成数据的采集、加工和存储。本文数据仓库调度系统具备三个层次的能力:(1)调度处理仓内仓外数据的ETL工作流的能力;(2)多元的ETL能力,将不同来源的分散数据经过不同的手段,依托于调度工具,经采集、加工以及持久化后,供上层应用使用;(3)为提升系统的易用性设计实现了可视化配置和展现的能力。本文通过真实全面的现网实际应用数据和应用效果,证明了本课题给出的调度系统以及可视化配置界面的设计方案的可行性和现实价值。
[Abstract]:In the current competitive Internet era, the timely acquisition of data becomes the key to the success of enterprises. The purpose of business intelligence is to mine the information in the data, and to collect, manage and analyze the data so that the user can obtain better insight and decision power for the business market from the data. As a strategic set of all types of data that provide support for all levels of decision making process, data warehouse has become the core of data modeling in business intelligence. The data warehouse in this paper includes three parts: the distributed data outside the warehouse, the ETL process of data integration in the warehouse and the decision support for the upper application. The scheduling system plays an important role as the core control tool for data processing in the data warehouse. This paper designs and implements a complete data warehouse scheduling system to deal with the data inside and outside the warehouse, and achieves a stable, efficient and fast data processing system. The design principle of the data warehouse scheduling system for processing the data inside and outside the warehouse is described. Based on the flow management project, the application of the design scheme in the real business is given. Data warehouse scheduling system is the core of data processing in the flow management project. It is responsible for scheduling the workflow of the source data in order to complete the data collection, processing and storage. The data warehouse scheduling system in this paper has three levels of capability: (1) the ability to schedule and process the ETL workflow of data inside and outside the warehouse; (2) the multiple ETL ability to collect the scattered data from different sources through different means, depending on the scheduling tools, After processing and persistence, it can be used for upper application. (3) the ability of visual configuration and presentation is realized for improving the usability of the system. This paper proves the feasibility and practical value of the scheduling system and the visual configuration interface design scheme given in this paper through the real and comprehensive practical application data and application effect of the present network.
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

【参考文献】

相关期刊论文 前7条

1 曹旭;张云华;;Hadoop平台下计算模型中调度策略的研究[J];计算机应用与软件;2013年09期

2 全波;姚素丹;;移动互联网时代电信运营商流量经营探索[J];电信科学;2012年07期

3 张作凤;;运营商如何做好流量经营[J];移动通信;2012年07期

4 刘亚鹏;张征;俞婷;;基于MVC多层架构的Web应用框架设计[J];微计算机信息;2011年07期

5 徐俊刚;裴莹;;数据ETL研究综述[J];计算机科学;2011年04期

6 龙青云;胡巧多;;商务智能的架构体系和技术工具[J];电脑知识与技术(学术交流);2007年12期

7 赵文,胡文蕙,张世琨,王立福;工作流元模型的研究与应用[J];软件学报;2003年06期

相关硕士学位论文 前5条

1 任桂禾;大数据处理支撑平台调度子系统的设计与实现[D];北京邮电大学;2015年

2 费仕忆;Hadoop大数据平台与传统数据仓库的协作研究[D];东华大学;2014年

3 刘静;数据仓库在零售业商业智能系统的应用[D];江苏科技大学;2014年

4 赵英杰;基于商业智能技术的决策支持系统设计与开发[D];北京工业大学;2012年

5 牛筱峰;基于元数据的数据仓库任务调度原型系统的设计与实现[D];北京交通大学;2008年



本文编号:2261041

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2261041.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户38f58***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com