商务智能ETL过程优化及质量控制在航空预警中的应用研究
发布时间：2021-07-03 15:04
我国在商务智能和航空预警方面的应用研究才十几个年头,但其作用却是不容小窥的。目前商务智能在航空业已有一定的应用,然而要实现航空预警的准确性和及时性还有很长的一段路要走；且航空预警的成功在很大程度上保障了乘客和飞行员的生命和财产安全。本文首先对航空预警和商务智能相关内容及理论进行分析研究,综述了商务智能、ETL技术和航空预警的研究现状。其次,给出商务智能的通用体系架构,研究商务智能与其关键技术ETL之间的关系,并分析商务智能应用于航空预警的作用。由此确立论文的研究方向和内容框架,研究方向为商务智能ETL过程优化及其质量控制在航空预警中的应用研究；内容框架为先对构建商务智能的难点问题进行深入研究,并给出优化方案。再结合航空预警领域的实际情况给出航空预警商务智能的总体架构,并针对商务智能实施的难点问题给出适用于航空预警领域的ETL过程设计和质量控制方案。构建商务智能的难点问题——ETL实施过程和质量控制。这两个难点问题的优化和处理方案具体体现为：（1）对ETL实施过程的优化进行研究。从ETL实施过程的整体进行ETL流程的改进,首先提出ETL统一处理平台的建立,增加系统资源间的交互性和共享性；...
【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
统一ETL处理平台架构
武汉理工大学硕士学位论文3.1.3统一ETL处理平台的功能在给出统一ETL处理平台架构的基础上，进一步讨论该平台可以实现的功能。下面我们主要从统一E几处理平台的E几数据处理和任务调度两个方面进行描述。3.1.3.1ETL数据处理功能统一ETL处理平台的建立可以提供强大、复杂的数据处理功能来满足业务系统的数据加工需求。对于ETL处理功能，可以从数据加工处理、数据传输处理、数据质量检查等方面进行说明。(1)数据加工处理可考虑数据接入、数据处理和数据供给三方面进行衡量。统一ETL处理平台提供了如下图3-2所示的数据加工处理功能。尸一..一~-.…，~~一~…ETL数据处理区功!!11…J……J|，!l‘:，。，l!.…口，.!1。:l||!..…|!…!，|11..…口.。:|l!︸
行处理、数据并行处理和管道并行处理。任务并行处理主要实现多个独立的任务并行处理。数据并行处理是指将单个任务中的独立数据元组进行并行运行。管道并行l’ll处理是将单个任务划分为多个顺序执行的步骤，然后按照流水线方式处理数据元组，实现多个步骤的并行处理。在对并对ETL并行技术深入研究的基础上，考察航空预警业ETL处理技术的实际情况。得出如下结论:(1)ETL任务并行处理是最基本、最易理解的数据处理方式，目前行业应用最为广泛、实施难道最低的并行处理技术。(2)对于数据并行处理和管道并行处理主要是从源数据入手，先考虑数据的分割问题，然后讨论具体作业在加工过程中的落地情况。主要是通过对ETL具体工具的设计来实现。3.2.1ETL的逻辑架构在实现ETL并行机制前，首先需要规划任务的接收、调度和处理过程。基于统一ETL处理平台构建的目的，给出其相应的ETL逻辑架构图如图3一3所示:
【参考文献】：
期刊论文
[1]操作型商业智能综述[J]. 陈磊,董碧丹,张峰. 计算机工程与设计. 2010(07)
[2]基于元数据驱动的ETL架构设计[J]. 张忠平,赵瑞珍. 计算机应用与软件. 2009(06)
[3]并行ETL过程的研究与实现[J]. 许力,牟晓光,马云存. 计算机工程与应用. 2009(13)
[4]ETL技术在商业智能中的应用[J]. 尤欣. 电脑应用技术. 2008 (03)
[5]基于数据仓库和OLAP的民航灾害预警决策支持系统[J]. 李柯. 西南交通大学学报. 2007(04)
[6]ETL执行的流水线优化[J]. 韩京宇,徐立臻,董逸生. 小型微型计算机系统. 2005(06)
[7]商业智能的核心技术及体系结构研究[J]. 刘业政,胡剑. 合肥工业大学学报(自然科学版). 2004(08)
[8]航空公司交通灾害预警指标体系的构建[J]. 罗帆,佘廉,顾必冲. 武汉理工大学学报(交通科学与工程版). 2004(03)
[9]航空港安全管理系统[J]. 周仁军. 中国民用航空. 2003(11)
[10]中国民航飞行标准管理信息系统[J]. 靳洪艳. 民航经济与技术. 1999(11)
博士论文
[1]商务智能中的利润挖掘研究[D]. 徐秀娟.吉林大学 2008
硕士论文
[1]商业智能在股票信息系统中的应用与研究[D]. 苏盾.武汉理工大学 2009
[2]商务智能在电子商务中的应用研究[D]. 陈进宝.北京邮电大学 2008
[3]基于商务智能技术的企业商务过程优化研究[D]. 陈祖涛.武汉理工大学 2007
[4]ETL工作流的建模及优化[D]. 丁左明.上海师范大学 2007
[5]ETL过程中的数据清洗技术研究与应用[D]. 刘哲.沈阳航空工业学院 2007
[6]ETL执行过程的优化研究[D]. 吴远红.东南大学 2006
[7]供电企业管理信息系统的构建[D]. 张红洁.南京理工大学 2006
[8]ETL过程改进的研究[D]. 张超.东南大学 2006
[9]民航灾害预警管理信息系统的研究[D]. 陈凯.武汉理工大学 2005
[10]数据仓库中数据质量控制问题研究[D]. 熊霞.武汉大学 2004
本文编号：3262814
【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
统一ETL处理平台架构
武汉理工大学硕士学位论文3.1.3统一ETL处理平台的功能在给出统一ETL处理平台架构的基础上，进一步讨论该平台可以实现的功能。下面我们主要从统一E几处理平台的E几数据处理和任务调度两个方面进行描述。3.1.3.1ETL数据处理功能统一ETL处理平台的建立可以提供强大、复杂的数据处理功能来满足业务系统的数据加工需求。对于ETL处理功能，可以从数据加工处理、数据传输处理、数据质量检查等方面进行说明。(1)数据加工处理可考虑数据接入、数据处理和数据供给三方面进行衡量。统一ETL处理平台提供了如下图3-2所示的数据加工处理功能。尸一..一~-.…，~~一~…ETL数据处理区功!!11…J……J|，!l‘:，。，l!.…口，.!1。:l||!..…|!…!，|11..…口.。:|l!︸
行处理、数据并行处理和管道并行处理。任务并行处理主要实现多个独立的任务并行处理。数据并行处理是指将单个任务中的独立数据元组进行并行运行。管道并行l’ll处理是将单个任务划分为多个顺序执行的步骤，然后按照流水线方式处理数据元组，实现多个步骤的并行处理。在对并对ETL并行技术深入研究的基础上，考察航空预警业ETL处理技术的实际情况。得出如下结论:(1)ETL任务并行处理是最基本、最易理解的数据处理方式，目前行业应用最为广泛、实施难道最低的并行处理技术。(2)对于数据并行处理和管道并行处理主要是从源数据入手，先考虑数据的分割问题，然后讨论具体作业在加工过程中的落地情况。主要是通过对ETL具体工具的设计来实现。3.2.1ETL的逻辑架构在实现ETL并行机制前，首先需要规划任务的接收、调度和处理过程。基于统一ETL处理平台构建的目的，给出其相应的ETL逻辑架构图如图3一3所示:
【参考文献】：
期刊论文
[1]操作型商业智能综述[J]. 陈磊,董碧丹,张峰. 计算机工程与设计. 2010(07)
[2]基于元数据驱动的ETL架构设计[J]. 张忠平,赵瑞珍. 计算机应用与软件. 2009(06)
[3]并行ETL过程的研究与实现[J]. 许力,牟晓光,马云存. 计算机工程与应用. 2009(13)
[4]ETL技术在商业智能中的应用[J]. 尤欣. 电脑应用技术. 2008 (03)
[5]基于数据仓库和OLAP的民航灾害预警决策支持系统[J]. 李柯. 西南交通大学学报. 2007(04)
[6]ETL执行的流水线优化[J]. 韩京宇,徐立臻,董逸生. 小型微型计算机系统. 2005(06)
[7]商业智能的核心技术及体系结构研究[J]. 刘业政,胡剑. 合肥工业大学学报(自然科学版). 2004(08)
[8]航空公司交通灾害预警指标体系的构建[J]. 罗帆,佘廉,顾必冲. 武汉理工大学学报(交通科学与工程版). 2004(03)
[9]航空港安全管理系统[J]. 周仁军. 中国民用航空. 2003(11)
[10]中国民航飞行标准管理信息系统[J]. 靳洪艳. 民航经济与技术. 1999(11)
博士论文
[1]商务智能中的利润挖掘研究[D]. 徐秀娟.吉林大学 2008
硕士论文
[1]商业智能在股票信息系统中的应用与研究[D]. 苏盾.武汉理工大学 2009
[2]商务智能在电子商务中的应用研究[D]. 陈进宝.北京邮电大学 2008
[3]基于商务智能技术的企业商务过程优化研究[D]. 陈祖涛.武汉理工大学 2007
[4]ETL工作流的建模及优化[D]. 丁左明.上海师范大学 2007
[5]ETL过程中的数据清洗技术研究与应用[D]. 刘哲.沈阳航空工业学院 2007
[6]ETL执行过程的优化研究[D]. 吴远红.东南大学 2006
[7]供电企业管理信息系统的构建[D]. 张红洁.南京理工大学 2006
[8]ETL过程改进的研究[D]. 张超.东南大学 2006
[9]民航灾害预警管理信息系统的研究[D]. 陈凯.武汉理工大学 2005
[10]数据仓库中数据质量控制问题研究[D]. 熊霞.武汉大学 2004
本文编号：3262814
本文链接：https://www.wllwen.com/jingjilunwen/jtysjj/3262814.html
