商业智能在A企业数据中心的应用研究

第1章绪论

1.1研究背景

随着科学、技术和工程的发展,以云计算技术为代表的互联网、社交网络等新型信息数据存储方式的出现,许多领域都产生了海量的数据。同时,企业花费了大量财力和资源构建联机事物处理系统,累积的数据量与日俱增。一个具有互联网特征的企业,还会涉及到网站、企业内部多套信息系统的数据传递、及综合处理分析,在这种情况下,关于企业数据的存储、运用都在向数据中心迁移,而商业智能技术也应运而生。

在实际操作中,将不同系统的大量业务数据应用于分析和统计并非易事;首先,在业务系统中特别是实时性要求较离的环境中实施查询,必定会给事务处理系统的性能带来影响,为了预防该类影响,通常30秒无法得出结果系统即会报错。其次,所有联机事务处理(online)强调密集数据的更新处理性能及系统的可靠性,并不关也数据查询的效率。第王,业务数据存放于分散的异构环境中,不容易统一查询,大量的历史数据无法被有效利用。第四,联机事务处理更适合业务流模式,这些数据的格式和描述方式并不适用于业务数据的分析和统计。因此,专口为业务的统计分析而建立的数据中也就应运而生,它的数据从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中来,专门进行分析统计和决策支持服务。

由上述概念可知,在企业发展进程中,数据中也会积累大量的数据,这些数据由来源于多样化的异构数据源,最终这些数据汇通过数据分析形成信息和知识。在对这些数据进行数据传递和综合处理分析的过程中,数据采集、清洗、验证、重构、集合、挖掘的过程需要占用极大的工作量。BI商业智能技术对现有的数据分析体系的价值在于,可以更准确、便捷的从异构数据源中抽取数据,并针对不同需求从这些数据集中进行各类挖掘分析,运用科学的方法从数据中挖掘产品的价值。

.......................

1.2研究的目的和意义

A公司是一个基于互联网,兼顾线上及线下业务的公司。由于互联网发展的日新月异,企业发展及业务调整也非常快速,IT规划也随着战略、管控、业务模式的调整而进�崳娊锉浠�。伴随公司6年的发展,企业目前总共有5个主营网站,其内部管理信息系统及相关软件系统达近20个。A公司的数据中也成立时间近3年,目前数据分析平台与先进IT企业相差甚远,仅能通过手动报表方式完成各个部门数据考核功能。随着业务的发展,数据中心对公司各项业务的影响越来越大,对商业数据分析体系的优化和运营提出了更多的要求。

数据分析体系的价值应该是将信息分析结果融入到企业运营的过程中,可以为决策提供支持分析及预测结果,并最终达到优化业务流程,实现策略制定并为公司带来效益和价值。在应用BI技术对数据中也数据分析体系进行优化的过程中,需要建立数据仓库,且把企业的内外部数据进行有效的集成,形成直观的、易于理解的数据信息,提供给企业的各层决策、分析人员使用。

怀着对上述问题的思考和对A企业数据分析商务智能化的建设探讨,本文的重点为,围绕A企业数据中也的数据分析现状,以信息分析结果为导向,引入商务智能技术,对现行的数据分析体系进行整体改造,构建可以为企业提供有效辅助决策的商业分析系统。

.....................

第2章相关理论综述

2.1企业级数据中心

随着信息产业的快速发展及互联网的普及,作为信息服务提供平台,数据中心扮演了重要的角色。诸如"信息孤岛"整合、服务器整合、信息化、工业化的融合等。为了有效利用企业的数据资源,即通过这些战略资源所制定的辅助决策来提高企业竞争力,企业通过构建数据中心,对数据进行集成、分析和处理,最终获得正确而有意义的信息。

数据中心(Datacenter,DC),从数据层面来看,包含业务数据的接入、整合、集成、分析的流程。从应用层面来看,包含业务系统和分析系统。从基础设施的角度来看,它是指一整套复杂设施,其中包含计算机、网络、通信等设备,还包括对这套设施的运维管理,如监控、调度及安全机制。数据中心可分为两种:一种是面向互联网提供服务,由服务提供商负责运营,并利用规模效应以较低的费用向其他用户租用存储及计算等资源;另一种是企业私有的,只对内部开放,本文所讨论的数据中也是基于企业内部运营的数据中心。

由于公司业务的逐步发展,每新增一个业务应用就需要增加一个打系统,随着业务系统的不断增多、业务系统复杂度不断增加W及各系统之间的信息孤立不断加深,业务数据之间的独立不断加大,最终导致企业不能有效利用这些数据进行决策。为了合理有效地使用企业数据送样的战略资源,以达到制定正确的企业决策并提高企业的竞争力,企业采用构建数据中也的方式,对数据进行集成、分析和处理,而最终获得正确有意义的数据。作为企业数据传输、存储、计算的数据中心,集中了软硬件资源和关键业务数据,从数据角度来看数据管理和交互是数据中必的主要任务,从基础设施来看对于硬件设施的管理是数据中也的平台管理重也,从业务角度看数据分析展现是数据中也影响业务部门的直接因素。

.....................

2.2商业智能技术

2.2.1商业智能概念

商业智能的概念在1989年由Howard首次提出,它描述了一系列概念和方法,可以通过基于事实的支持系统,辅助制定商业决策。公司在以数据库为中心的业务处理系统、以数据仓库为基础的分析系统的基础上,提出了商业智能系统的概念。商业智能系统可将信息转化为知识,在正确的时间将准确的信息交给合适的用户,进而支持决策过程。

商业智能是依靠计算机技术为,运用现代管理技术,所采用的一系列用于提高企业运营绩效的方法、技术和软件。通常由数据仓库、数据分析、数据挖掘、在线分析等部分组成。商业智能系统可以识别来自异构数据源的多种数据格式,并将数据转化、整理为信息,然后进一步进行分析,通过数据挖掘可以发现的它们之间的新关系,加强战略决策,提高决策的精确性。研究内容主要集中在以下三个方面:

(1)商业智能核也技术的研究。国际数据公司将商业智能定义为数据仓库、OLAP工具、数据挖掘(DataMining)软件、终端用户查询和报舍工具、主管信息系统等软件工具的集合。构建符合业务需求的数据仓库是一个商业智能项目的基石,OLAP和数据挖掘可以对数据仓库中的数据进行处理并发现规律,这对于商业智能项目同样起到至关重要的作用。

(2)商业智能体系结构的研究。如:针对某一具体实例,建立何种数据存储和数据模型支持数据分析和知识发现;选择何种决策分析工具,将分析和发现的信息通过哪种接口达到需要的用户等。

(3)不同应用领域在使用商业智能中所面临的决策问题的研究。根据不同领域各类问题的解决方式和解决方案,商业智能系统制定出合适的功能及具体实现方法,典型的的应用领域包括:企业性能管理、企业资源规划、人力资源管理、客户关系管理、电子商务、供应链管理等。

.....................

第3章A企业数据中心分析体系运营现状及问题分析..............15

3.1A企业数据中心概况.............15

3.2A企业数据中心分析体系现状...............16

第4章基于助的数据中心分析体系优化策略..............19

4.1基于助的分析系统优化策略.............19

4.1.1基于BI的ETL技术策略处理异构数据源问题...........19

第5章基于BI数据中心分析体系优化策略实施...........26

5.1商业分析系统实施的关键............26

5.1.1组织与人员的保障...........26

第6章实施效果评估

在上一章中,描述了BI优化项目的技术、人员保障,及如何设计数据仓库管理层。数据仓库的建立是第4章中介绍的商业分析系统模型的基础,同时可以支撑起商业分析体系所涉及的各种活动。数据仓库项目完成则是商业分析系统运行的开端,BI优化的商业分析系统是一个平台,其目的是为了让商业分析为企业带来业务能力的提升,送套系统是企业的业务流程而不止是IT流程。为了让业务部门意识到商业分析系统的好处,经过优化的系统要确保必要的分析能力,而为了测试这些分析能力是否得到了优化提升,本章对结合第H章所提出的问题,采用第5章所描述的分析内容和分析方式展现问题的解决及可视化展现。

6.1异构数据源的定时自动采集处理过程

第三章中,所描述的第一个问题就是异构数据源多样化导致数据采集处理效率低,而在第五章中,通过元数据管理,我们己经整理了关于数据源的详细资料,在使用BI技术优化的商业分析系统中,这个问题交给了SSIS进行处理,毎天定时对这些数据源进行采集和处理,不需人工介入,缓解了人员压力,极大缩减了处理时间,并保证了数据准确性。

ETL(即数据抽取-转换-加载)过程,根据元数据库中主题表、数据源、数据抽取规则等定义对进入数据中也的各类数据源进行清理、转换。对数据进行重新加工后,按系统所需的数据格式与数据内容,按规定的时序装载到数据仓库的目标库中,更新数据仓库。在首次运行时,通常采用全量抽取方式,即从数据库或数据资源中抽取全部表和视图的数据,并通过数据转换模块转换成ETL可以识别的格式。在后期运行中,通常采用増量抽取方式,即扫描从上次抽取以来变化过的数据,并保证数据的准确性,在准确扫描变化数据的同时,还要尽量减少对系统的压力。所以要对数据抽取制定策略,该策略应该在元数据管理中体现。

.....................

第7章总结与展望

7.1总结

对于A企业数据中也的原有数据分析体系来说,存在着异构数据源的多样化导致数据源采集效率低、分析指标不一致导致分析结果不具可比性、原始数据的固化存放导致无法进行业务整合分析这个三大问题。为了解决以上问题,希望通过BI商务智能技术,将现有数据分析体系优化为商务分析系统。在这个优化过程中,主要工作如下：

(1)从业务流程出发,建立商业数据分析系统研究内容架构,描述了从数据信息管理部门转化到企业战略策划和领导决策支持部门的工作流。

(2)结合分析系统现存问题、用BI的相应技术工具进行优化,最终设计达成分析系统的功能目标。

(3)确定A企业商务数据分析系统模型,该分析系统由B2B分析子系统、B2C分析子系统、会员服务子系统组成,可按不同主题进行流程贯穿分析,亦可按业务流程分不同维度分析。

(4)在确立了模型之后,由公司领导带头组成了需求分析小组和技术执行小组。本文中的关键实施步骤是元数据的管理,分别为:数据集市元数据,数据源元数据、数据仓库主题元数据、查询元数据、报表元数据,掌握整体数据仓库设计结构和核心。

(5)在报表分析设计过程中,要对分析指标和代码指标对应关系也作为元数据管理的一部分,通过各类数据统计、挖掘方式通过SSRS服务进行报表设升工作。

(6)商业分析系统设计完成后,可以看到异构数据可以定时自动采集处理,而关于分析指碌及业务整合分析的问题则是通过联机分析服务SSAS进行处理,并通过前台应用的可视化呈现来展示分析系统的分析效果,本文通过即席报表查询展示、商业分析数据挖捆效果展示、业务部门绩效模型展示几个方面展示了商业分析系统的整合分析效果。

参考文献（略）