1、白沙集团长沙卷烟厂数据仓库 数据分析系统分析、设计与开发-优秀论文提 要 数据仓库(Data Warehouse)是一个面向主题的、集成的随时间变化的非易失性数据的集合,基于数据仓库之上的数据分析应用是以已积累的运营数据及外部市场数据为数据基础,有效地实现企业各类信息的综合利用和共享,实现及时准确的财务分析、运营分析、客户分析、市场分析、知识积累与查询等等,为企业的管理、决策提供及时可靠的参考信息依据。 随着企业信息化水平的不断提高,企业获取信息的手段和渠道也在不断增加,越来越多的企业开始利用数据仓库/数据分析这一数据管理和利用的综合性技术方案为决策服务,以取得企业竞争优势。本文基于白沙集团长
2、沙卷烟厂数据仓库系统的分析、设计以及具体应用实施,对企业实施数据仓库应用有一定的参考价值。 本文共分三个部分,第一部分(第一章)介绍数据仓库的基本理论与应用现状;第二部分(第二章至第三章)阐述了基于原有业务系统的数据仓库/数据分析系统的规划与设计,并分析了该数据仓库/数据分析系统具体应实现的需求;第三部分(第四章至第六章)以数据仓库/数据分析系统中的两个模块为例,论述了数据仓库/数据分析系统的具体实现步骤与方法。1目 录第一章 数据仓库理论概述 1 1.1数据仓库的涵义与基本特性 1 1.1.1数据仓库的涵义. 1 1.1.2数据仓库的特性. 1 1.面向主题:1 2.集成性: 2 3.不可更
3、新性:. 2 4.随时间变化性: 2 1.1.3数据仓库中的重要概念. 2 1.维(Dimension). 2 2.数据立方体(Cube) 2 3.聚集(Aggregate). 2 1.2数据仓库系统的总体结构. 3 1.3数据仓库的设计与建造方法(建模)3 1.3.1数据仓库系统的设计与建造的一般方法:3 1.3.2.数据仓库应用建模 4 1.4数据仓库关键技术. 4 1.数据管理技术. 4 2.数据存储技术. 4 3.数据仓库接口技术 4 1.5数据仓库的三个工具层 4 1.报表 4 2.联机分析处理(OLAP). 5 3.数据挖掘 DM 5 1.6目前市场上的主流数据仓库解决方案及评析
4、5 2.1 项目的市场背景. 9 2.2本系统的定位及系统规划. 9 2.2.1原系统概述 9 2.2.2本系统定位 912.2.3 本系统规划. 10 2.3系统体系结构11 2.3.1系统硬件体系结构. 11 2.3.2系统软件体系结构. 11 1.软件逻辑结构:11 2.软件技术结构 12 2.4系统功能分析. 13 2.4.1系统功能划分 13 2.4.2主题分析应用的功能 14 第三章 需求分析. 16 3.1数据仓库系统的开发特点 16 3.2 进行数据仓库需求分析的方法 16 3.3长沙卷烟厂数据仓库/数据分析系统需求. 17 3.3.1系统主题划分 17 1.财务分析. 18
5、2.同行业对比分析. 18 3.销售分析. 18 4.市场分析. 19 5.设备状况分析 19 6.质量状况分析 19 7.原烟采购分析 19 8.辅料采购分析 20 9.制造分析. 20 10.库存分析 20 11.备件管理分析 21 12.生产综合分析 21 3.3.2确定各主题数据的分析维度、分析指标. 21 3.3.3 系统运行环境需求 23 1.数据管理能力要求 23 2.设备需求: 24 3.支持软件. 24 第四章 数据仓库系统建模. 25 4.1 数据仓库建模概述. 25 4.2数据仓库的概念模型设计 2524.3数据仓库的逻辑模型设计 27 4.3.1分析主题域. 27 4.
6、3.2粒度层次划分 27 4.3.3关系模式定义 27 4.3.3.1维度表设计 29 4.3.3.2 基本数据表设计 30 4.3.3.3 事实表设计 35 4.4数据仓库的物理模型设计 36 第五章 数据仓库/数据分析系统的实施 39 5.1基本处理流程. 39 5.2 数据仓库系统与其他系统的接口设计 40 1.外部接口设计 40 2.内部接口设计 41 5.3数据仓库的数据抽取转换 41 5.3.1固定资产状况分析 42 1.数据抽取转换流程 42 2.数据抽取转换具体步骤. 44 5.3.2应付帐款分析 47 1.数据抽取转换流程 47 2.数据抽取转换步骤 47 5.3.3 资金项
7、目分析 50 1.数据抽取转换流程 50 2.数据抽取转换具体步骤. 51 5.3.4 同行业分析 52 1.数据抽取转换流程 52 2.数据抽取转换具体步骤. 53 5.4多维数据加载. 54 5.4.1多维数据库与关系型数据库的区别 54 5.4.2 多维数据库与数据仓库. 55 5.4.3 IBM OLAP SERVER. 55 5.4.4 利用 IBM OIS 建立多维数据分析模型 56 5.4.4.1固定资产分析 56 5.4.4.2应付帐款分析 58 5.4.4.3资金项目分析 6035.4.4.4同行业分析 61 第六章 数据仓库/数据分析系统的测试、运行与评价 64 6.1 系
8、统测试 64 1.单元测试. 64 2.系统集成测试 64 3.交付测试. 64 6.2 系统运行与管理 64 6.2.1系统运行?进行多维分析 64 1.多维的切片 65 2.多维的切块 65 3.旋转 65 4.钻取 65 6.2.2 系统运行管理 69 1.数据仓库系统运行情况记录 69 2.数据仓库的日常维护 69 3.数据仓库系统的适应性维护 70 6.3系统的用户培训及支持 70 1.用户的培训 70 2.对数据仓库用户的支持. 70 6.4系统的评价 71 6.4.1数据仓库/数据分析系统的技术评价 71 6.4.2数据仓库/数据分析系统的经济评价 71 6.5系统的增强 72
9、1.扩充外部数据源. 72 2.数据仓库应用范围的扩大 72 3.数据仓库整体性能的调整 72 4.数据仓库重新规划 72 第七章 全文总结. 73 图表目录 74 参考文献 76 致 谢 79 摘 要 804ABSTRACT 835 第一章 数据仓库理论概述 1.1数据仓库的涵义与基本特性 1.1.1数据仓库的涵义 传统的数据库系统是以单一的数据资源,即数据库为中心,进行事务处理、批处理、决策分析等各种数据处理工作,主要的划分为两大类:操作型处理和分析型处理或信息型处理。 操作型处理也叫事务处理,是指对数据库联机的日常操作,通常是对一个或一组纪录的查询和修改,主要为企业的特定应用服务的,注重
10、响应时间,数据的安全性和完整性;分析型处理则用于管理人员的决策分析,经常要访问大量的历史数据。 当联机事务处理系统应用到一定阶段后,用户便发现单靠拥有联机事务处理已经不足以获得市场竞争的优势,而将大量的业务数据应用于分析和统计并非如想象的那么容易,这主要表现在以下几点: ? 所有联机事务处理强调的是密集的数据更新处理性能和系统的可靠性,并不关心数据查询的方便与快捷。联机分析和事务处理对系统的要求不同,同一个数据库在理论上都难以做到两全。 ? 业务数据往往存放于分散的异构环境中,不易统一查询访问,而且还有大量的历史数据处于脱机状态,形同虚设。 ? 业务数据的模式针对事务处理系统而设计,数据的格式
11、和描述方式并不适合非计算机专业人员进行业务上的分析和查询。 针对这些问题,人们设想专门为业务的统计分析建立一个数据中心,它的数据可以从联机的事务处理系统获得、从异构的外部数据源获得、或从脱机的历史业务数据获得。这个数据中心是一个联机的系统,它是专门为分析统计和决策支持应用服务的,通过它可以满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。 数据仓库之父 W.H.INMON将数据仓库定义为:一个面向主题的、集成的随时间变化的非易失性数据的集合,用于支持管理层的决策。 如果说传统联机事务处理强调的是更新数据库-向数据库中添加信息,那么联机分析处理就是从数据库中获取信息、利用信息。
12、因此,著名的数据仓库专家 Ralph Kimball写道:“我们花了二十多年的时间将数据放入数据库,如今是该将它们拿出来的时候了。 1.1.2数据仓库的特性 1.面向主题: 所谓主题,是指在较高层次上将企业信息系统中的数据综合、归类并进行抽象。而数1据仓库正是从企业的全局出发,面向主题进行组织的。其主要目的是进行数据分析处理,为管理层提供决策支持。 2.集成性: 在数据仓库的所有特性中,集成性是最重要的特性。由于数据仓库中的数据不是面向应用的,所以并不在意细节数据,而是从原有数据中抽取出来的,经过统一综合以后再进入数据仓库。因此,进入数据仓库中的数据,统一了数据源中的矛盾之处,如不一致的字段长
13、度、同名异义、异名同义、数据缺失等。 3.不可更新性: 数据一旦装入数据仓库,基本不会发生变化。其中的数据主要供企业决策分析之用,主要涉及的操作是数据的查询,一般不涉及到数据的修改操作。 4.随时间变化性: 数据仓库的数据不可更新是针对应用来说的,用户对数据仓库进行分析处理时并不进行数据更新操作。但对数据仓库而言,由于它要为企业提供决策支持,当然要保证当前的数据是最新、最有价值的。所以数据仓库要不断从操作型数据源中提取变化了的数据。因此,时间是数据仓库中数据必备的属性。 1.1.3数据仓库中的重要概念 1.维(Dimension) 数据仓库是用于支持决策的。管理人员在进行决策分析时,经常需要选
14、择一个对决策活动有重要影响的因素进行决策分析。例如管理人员可以从客户、产品、时间等角度出发,对数据进行分析,这些角度就构成了数据仓库的维,数据仓库中的数据也是按照这些维来组织的。数据仓库的维度一般具有层次性,用户在使用数据仓库时可以利用维做为操作路径,按照维度层次对数据进行从概括到细节的分析。 2.数据立方体(Cube) 当用户观察对某一事物进行观察 时,围绕这一事物往往会有多个观察角度,即多个维度,维度的交叉点,就构成了数据仓库的立方体,即用户需要观察的数据的集合。例如对卷烟的销量可以从客户、时间、 品牌等角度进行分析。立方体作为基本事务的聚合,是一种适合用 SQL 或其他接口进行查询的完整
15、数据结构。 3.聚集(Aggregate) 聚集是指收集了基本数据的结构。管理者在进行决策分析的过程中,并不一定要观察所有详细数据,而是根据自己管理的范围进行总体情况的了解,例如一个地区的销售经理,最关心的是本地区的销量,那就需要按本地区客户、品牌等进行概括,也就是进行聚集。通过聚集,形成基于维的有决策分析意义的数据交集。21.2 数据仓库系统的总体结构 数据仓库是今年 IT技术和信息管理迅速发展的结果。从数据仓库的概念结构看,应该包括数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。创建数据仓库时,首先要从数据源中抽取所需要的数据到数据准备区,在数据准备区经
16、过数据的净化处理再加载到数据仓库数据库中,最后根据用户需求将数据发布到数据集市、数据挖掘数据库中。当用户使用数据仓库时,可以通过 OLAP等数据仓库工具向数据仓库进行决策分析查询或数据挖掘。数据仓库的总体结构如下图所示:图 1.1 数据仓库系统的总体结构 1.3数据仓库的设计与建造方法(建模) 1.3.1数据仓库系统的设计与建造的一般方法: 数据仓库建模的方法,与传统数据库设计方法系统生命周期法不同: 传统数据库方法的步骤为:收集应用需求分析应用需求构建 DB应用编程系统实施系统测试 数据仓库建模的步骤为:DW 建模数据获取与集成构建数据仓库DSS 应用开发系统测试理解需求 这种方法基本符合原
17、型法的特点,但又不同于一般意义上的原型法,数据仓库的设计是数据驱动的。它在现存 DB 的基础上进行开发,着眼于有效地抽取、综合、集成和挖掘已有 DB 的数据资源,服务于企业高层领导管理决策分析。 随着 DW技术的发展,如今 DW的实现策略有了进一步发展。在数据仓库的设计中,与3数据库设计类似,仍然存在三级数据模型,即概念模型、逻辑模型和物理模型 1.3.2.数据仓库应用建模 对于传统的 OLTP系统,我们总是按照应用来建立它的模型,换言之,OLTP 系统是面向应用的。而数据仓库则一般按照主题 Subject来建模,它是面向主题的。目前较常用的两种建模方法是所谓的第三范式 3NF,即 Third
18、 Normal Form和星型模式 Star-Schema。在数据仓库的模型设计中目前一般采用第三范式(这里的第三范式鱼关系数据库中定义的第三范式意义相同)。星型模式是一种多维的数据关系,它由一个事实表Fact Table和一组维表 Dimension Table组成。每个维表都有一个维作为主键,所有这些维则组合成事实表的主键,换言之,事实表主键的每个元素都是维表的外键。事实表的非主属性称为事实 Fact,它们一般都是数值或其他可以进行计算的数据;而维大都是文字、时间等类型的数据。 大多数人在设计中央数据仓库的逻辑模型时,都按照第三范式来设计;而在进行物理实施时,则由于数据库引擎的限制,不得不
19、对逻辑模型进行不规范处理 De-Normalize, 以提高系统的响应速度,这是以增加系统的复杂度、维护工作量、磁盘使用比率 指原始数据与磁盘大小的比率并降低系统执行动态查询能力为代价的。1.4 数据仓库关键技术 1.数据管理技术 在数据管理技术中包括大批量数据管理技术、数据仓库索引与数据监视技术、元数据管理技术、数据压缩技术和复合键码技术等。 2.数据存储技术 数据存储技术包括多介质存储设备的管理技术、数据存储的控制技术、数据的并行存储与管理技术等。 3.数据仓库接口技术 数据仓库接口技术包括多技术接口技术、语言接口技术和数据的高效率加载技术等。 1.5数据仓库的三个工具层 OLAP的查询分
20、析型工具、DSS 的分析预测型工具、数据挖掘的挖掘型工具一起构成了数据仓库系统的工具层,它们各自的侧重点不同,适用范围和针对的用户也不相同。具备了这三种工具的数据仓库系统,才能真正高效地利用数据仓库中蕴藏的大量宝贵的信息。 1.报表 报表工具是使用数据仓库的基本工具。基于数据仓库的多维数据存储和预定义的数据运算,大大减小了产生复杂企业报表的难度,提高了速度。42.联机分析处理(OLAP) 联机分析处理 OnLine Analytical Processing,OLAP主要通过多维的方式来对数据进行分析、查询和报表。它不同于传统的联机事物处理 Online Transaction Process
21、ing, OLTP应用。 OLTP应用主要是用来完成用户的事务处理,如民航订票系统、银行储蓄系统等等,通常要进行大量的更新操作,同时对响应时间要求比较高。而 OLAP应用主要是对用户当前及历史数据进行分析,辅助领导决策。主要是进行大量的查询操作,对实时性的要求不太严格。 目前常见的 OLAP主要有基于多维数据库的 MOLAP及基于关系数据库的 ROLAP。在数据仓库应用中,OLAP 应用一般是数据仓库应用的前端工具,同时 OLAP工具还可以同数据挖掘工具、统计分析工具配合使用,增强决策分析功能。 3.数据挖掘 DM 数据挖掘是当前业界的热门技术,已经在多个应用领域产生了巨大的效益。数据挖掘不一
22、定需要建立在数据仓库的基础上,但是如果将数据挖掘和数据仓库协同工作,则可以简化数据挖掘过程的某些步骤,从而大大提高数据挖掘的工作效率。并且因为数据仓库的数据来源于整个企业,保证了数据挖掘中数据来源的广泛性和完整性。数据挖掘技术是数据仓库应用中比较重要也是相对独立的部分。目前,数据挖掘技术正处在发展当中。数据挖掘涉及到数理统计、模糊理论、神经网络和人工智能等多种技术,实现难度较大。此外,数据挖掘技术还会同可视化技术、地理信息系统、统计分析系统相结合,丰富数据挖掘技术及工具的功能与性能。 1.6目前市场上的主流数据仓库解决方案及评析 1.Oracle 产品特点: Oracle 公司的数据仓库解决方
23、案包含了业界领先的数据库平台、开发工具和应用系统,它能够提供一系列的数据仓库工具集和服务。它具有多用户数据仓库管理能力,多种分区方式,较强的与 OLAP工具的交互能力,及快速和便捷的数据移动机制等特性。 主要工具: Oracle公司提供了一系列的数据仓库工具: Oracle 8I 是数据仓库的核心。Oracle Warehouse Builder 集成数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等功能。Oracle Developer Server 使企业级的应用系统开发工具,支持面向对象和多媒体,可同时生成 Client/Server及 Web下的应用,具有极高的开发效率及网络伸缩
24、性。Oracle Discoverer 是最终用户查询、报告、深入、旋转和 WEB 公布工具,能够帮助用户迅速访问关系型数据仓库,从而使他们作出基于充分信息的决策。Oracle Darwin 使基于数据仓库的数据挖掘工具,简单易用的图形化界面,提供决策树、神经网络等多种数据挖掘方法,支持海量数据的并行处理,分析结果可以和现有系统集成。应用特性:Oracle 的数据转移工具需手工编写 SQL 脚本,在处理复杂的数据转换需求时困难很多。Oracle 的前端工具易用性较差,需较多地依赖第三方产品。2.IBM5产品特点:IBM 公司提供了一套基于可视数据仓库的商业智能(BI)解决方案,具有集成能力强,
25、高级面向对象 SQL 等特性。主要工具:IBM 提供的 Visual Warehouse(VW)是一个功能很强的集成环境,既可用于数据仓库建模和元数据管理,又可用于数据抽取、转换、装载和调度。Essbase/DB2 OLAP Server 支持多维数据库,它是一个(ROLAP 和 MOLAP)混合的HOLAP服务器。QUEST 是 IBM公司 Almaden研究中心开发的一个多任务数据挖掘系统,目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统提供多种开采功能,开采算法可适用于任意大小的数据库。应用特性:IBM公司自己并没有提供完整的数据仓库解决方案,但是它可以使用第三方的数
26、据仓库工具。例如,查询工具使用 Hyperion的 Analyzer,统计分析工具使用 SAS 公司的 SAS 系统。 3.Sybase产品特点: Sybase公司提供的数据仓库解决方案以能够支持多种关系型数据库而受到业界推崇。它能够同时处理几十个即席查询,其 Bit_Wisc技术和垂直数据存储技术使系统只访问特定的少量数据,使得查询速度比传统的关系型数据库管理系统快 100倍。主要工具: Warehouse Architect是 PowerDesigner中的一个设计模块,利用它数据集市或数据仓库设计者可以自动地对已有的关系数据库进行逆向工程,建立目标数据库设计、物理设计和 DDL。Powe
27、rStage、Replication Server、Carleton PASSPORT是数据抽取与转换工具。 Adaptive Server Enterprise 是 Sybase 企业级关系数据库,它通过多线索体系、并行操作以及对系统的内存、处理器和磁盘资源使用进行控制等手段增强了资源利用率。Adaptive Server IQ是 Sybase公司专为数据仓库设计的关系数据库。PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo 是数据分析与展现工具。Warehouse Control Center、Sybase Central、Distri
28、bution Director是数据仓库的维护与管理工具。应用特性: Sybase的 Industry Warehouse Studio包括相应行业所需的商业智能应用软件和数据分析模型,可以针对不同行业进行业绩分析、促销活动分析、用户群分析、销售分析和收益分析等,具有数据仓库设计、元数据管理等功能、支持广泛的应用软件和报表,并提供 Warehouse Studio 的设计工具、Warehouse Control Center等工具,使企业能够进一步扩展数据模型和应用系统,以适应各种商业活动的实际需要。4.Informix产品特点: Informix公司日前发布了一个集成的、可伸缩的 Fast
29、Start数据仓库解决方案,以使用户能快速而便捷地设计开发具有可伸缩性的数据仓库或数据集市。采用ROLAP的星型模式与 Informix IDS 、IDS/AD 紧密集成提供预先汇总、抽样、后台查询等性能优化手段。Informix 产品能够集成 Microsoft IIS或 Netscape Enterprise/FastTrack服务器,从而支持 web访问。Informix 没有提供自己的报表和数据挖掘工具,它可以集成第三方产品(例如结合 Brio的前端数据分析和报表功能,结合 SAS的数据挖掘功能)。informix并且向客户提供一套完整、使用的咨询服务包。主要工具: MetaCube
30、ROLAP Option为基于 Informix 的数据仓库或数据中心提供了全面、简便易用、可扩展和自动化的商业分析环境。 Informix InfoMover 是一套集成工具,6用于从多个工作资源中抽取、转换和维护数据。Seagate Crystal Info 是企业级报表、分析系统。IDS 以及 AD/XP选项是 Informix数据仓库系统的核心,提供数据仓库数据的存储功能。 应用特性: 采用 Informix数据仓库解决方案可以使您的数据仓库系统具有高性能、高可扩展性,高开放性,可以自己进行定制等特性,同时,利用 informix的专业数据仓库咨询服务,将充分保证您的数据仓库系统建设快
31、速、及时,保证您的数据仓库系统真正发挥作用。5.Microsoft 主要特点: Microsoft 公司的 SQL Server 2000已经在性能和可扩展性方面确立了世界领先的地位,是一套完全的数据库和数据分析解决方案,使用户可以快速创建下一代的可扩展电子商务和数据仓库解决方案。Microsoft 将 OLAP功能集成到 Microsoft SQL Server中,提供可扩充的基于 COM的 OLAP接口。 Microsoft Office 2000套件中的 Access和 Excel可以作为数据展现工具,另外 SQL Server还支持第三方数据展现工具。主要工具: Sql server通
32、过一系列服务程序支持数据仓库应用。数据传输服务 DTS(Data Transformation Services)提供数据输入/输出和自动调度功能,在数据传输过程中可以完成数据的验证、清洗和转换等操作,通过与 Microsoft Repository集成,共享有关的元数据; Microsoft Repository 存储包括元数据在内的所有中间数据; SQL Server OLAP Services 支持在线分析处理; PivotTable Services 提供客户端 OLAP数据访问功能,通过这一服务,开发人员可以用 VB 或其他语言开发用户前端数据展现程序,PivotTable Serv
33、ices 还允许在本地客户机上存储数据; MMC(Microsoft Management Console)提供日程安排、存储管理、性能监测、报警和通知的核心管理服务。应用特性: 数据仓库是 Microsoft公司刚刚进入的一个全新领域,与该公司的传统产品差别较大。同时,Microsoft 也缺少在数据仓库实施方面的咨询经验。6.SAS产品特点: SAS公司在 20世纪 70年代以 “统计分析”和“线性数学模型”而享誉业界,它提供的工具以统计分析见长。90 年代以后,SAS 公司也加入了数据仓库市场的竞争,它提供的工具例如:智能化的客户机/服务器,多厂商构架等可以帮助企业实现一个灵活和低风险的
34、处理。SAS 数据仓库可以支持各种硬件平台、支持不同数据库之间数据的存取,它还可对不同格式的数据进行查询、访问和分析,SAS 具有与目前许多流行数据库软件和老的数据文件的接口,并可在 SAS环境中建立对应外部异构数据的统一的公用数据界面。主要工具: SAS 提供的工具包括 30 多个专用模块。其中: SAS/WA(Warehouse Administrator)是建立数据仓库的集成管理工具,包括定义主题、数据转换与汇总、更新汇总数据、元数据管理、数据集市的实现等; SAS/MDDB 是 SAS用于在线分析的多维数据库服务器; SAS/AF 提供了屏幕设计功能和用于开发的 SCL(屏幕控制语言)
35、; SAS/ITSV(IT Service Vision)是 IT服务的性能评估和管理的软件,这些 IT服务包括计算机系统、网络系统、Web 服务器和电话系统等。应用特性: 总的来说,SAS系统的优点是功能强、性能高、特长突出,缺点是系统7比较复杂,软件投资较高,而且每年都需交纳 License费。7.CACA 于 1999年收购 Platinum Technology 公司后,得到了完整的数据仓库解决方案,它具有丰富的行业知识和经验,能够向用户提供完善的数据仓库构造咨询服务、全面的数据仓库产品系列。产品特点: CA能够提供以“元数据”为核心的,结构化的,包容构造数据仓库各项技术的全面解决方案
36、。它具有独特的“元数据”管理与应用特性,具有用三维可视化技术解析处理的功能。CA 解决方案提供 ODBC接口,并将数据存储在第三方关系数据库如 Oracle、Sybase、SQL Server、Informix 和 IBM DB2等中,其性能虽要打一些折扣,但提高了开放性。主要工具: Erwin 是数据库/数据仓库模型设计工具; DecisionBase 是图形界面的元数据管理和数据转移工具; InfoPump 是可编程控制的双向数据转移工具; InfoBeacon 是 OLAP服务器 ; Forest Repository 是企业环境下元数据的集中管理工具; ProVision 是数据库性能
37、和操作系统性能管理工具。应用特性: CA 提供的数据仓库解决方案能够满足不同企业的需要,能够集成完全不同的技术解决方案。适合于航空、电信、零售业、股票交易、证券等各行业的数据综合性分析处理,为其提供全面的数据仓库解决方案。根据烟草行业的运行特点,长沙卷烟厂的业务范围及其特定的历史数据,结合个解决方案自身的特点,本项目选用了 IBM的解决方案。8 第二章 项目背景、系统体系结构及功能概述 2.1 项目的市场背景 随着经济的发展,企业所面临的竞争日益激烈。同时,信息技术的发展也使企业获取信息的手段和渠道也在不断增加,企业所面对的信息浩如烟海。而任何好的决策都需要事实和真实的数据。企业决策的正确程度
38、也取决于所使用的事实和数字的准确程度。另一方面,随着竞争的增加,决策需要在较短的时间内做出。因此,在特定的时间段内,能够尽可能多地获得相关信息就变得越来越关键。而为了使决策具有较好的正确度,却又需要更长的时间。因此,企业需要高效数据分析工具,以减少高速、精确分析大量数据所需时间。 目前逐步成熟的数据仓库、联机分析、决策支持、数据挖掘、知识管理等信息技术,是解决此类问题的有效技术。这些技术,将有效地实现企业各类信息的综合利用和共享,实现及时准确的财务分析、运营分析、客户分析、市场分析、知识积累与查询等等,为企业的管理、决策提供及时可靠的参考信息依据。 白沙集团长沙卷烟厂是我国烟草业的重点大型企业
39、,也是我国烟草业盈利能力、管理水平、企业信息化水平最好的企业之一。在企业发展、改制过程中,管理、决策层早已意识到企业信息化在现代企业管理中的重要地位,并在一系列的信息系统建设中投入了大量人力和物力。这一切,必将在企业发展中起到重要作用,也为解决如上的各类问题打下良好的基础。 2.2本系统的定位及系统规划 2.2.1原系统概述 长沙卷烟厂目前正在运行的系统主要有 ERP系统、生产管理系统、备件管理系统、企业信息采集系统以及在此基础上自主开发的一些财务报表系统、库存报表系统等。其中,ERP 系统是企业日常运作与管理的核心,主要包括财务、采购、库存、销售几个模块,采用的是 ORACLE解决方案;生产
40、管理系统和备件管理系统与具体的生产作业密切相关,采用 SYSBASE数据库;企业信息采集系统是将企业内外部零散信息加以整合利用的系统。除以上系统外,企业中还存在一些以电子表格等形式存放的重要数据。从总体上看,以上个系统较全面地覆盖了企业日常经营管理的各方面内容,基本上满足了各部门的日常工作需要。但如何将多个系统中的数据综合起来加以利用,使管理人员不仅可以掌握具体的业务数据,而且可以从多个角度与层次对数据进行分析,就是本系统要解决的问题。 2.2.2本系统定位 9已积累的数据与资料是企业或机构宝贵的财富,如何有效地进行数据利用以获得更大的利益是该阶段的中心目标。数据仓库及其之上的数据分析应用是获
41、得此利益的有效手段,它以已积累的运营数据及外部市场数据为数据基础,依据管理/决策的需要进行整理加工,形成针对管理问题的主题数据,便于管理层或分析人员的分析需要。从企业信息、数据流角度看,此系统以业务系统、情报系统、人力资源等系统为基本数据源,是数据信息的高度利用和高层次利用。 从使用对象角度看,此系统定位为:针对管理层或企业的咨询/分析人员设计的,是为管理/决策服务的。 管理/决策层 决策支持系统数据分析系统信息流操作层数据仓库 ERP 、生产管理信息系统、市场情报采集系统 、企业信息采集、 人力资源系统、同业信息采集系统、公共关系资料、科研资料图 2.1 本系统的定位 2.2.3本系统规划
42、白沙集团长沙卷烟厂数据仓库/数据分析系统的建设,旨在利用先进的信息技术与计算机应用技术成果,通过和白沙集团长沙卷烟厂专业系统的有机结合,建成一个综合的信息处理、管理与分析平台。它通过采集财务、销售、产销存、采购、市场、同业情报、制造、科研等系统的相关数据,建立完善的综合信息管理系统;形成全面综合的绩效评估/KPI、运营评估体系、收益评价、预测体系、辅助决策系统以及知识查询系统。建成后的系统是财务、业务管理工作的基础和重要工具,为管理层、决策层提供及时、准确的管理决策依据。 数据仓库/数据分析系统的建设应在明确总体目标的同时,充分分析考虑系统的可实施性,统筹规划,分步实施,降低系统风险。根据本厂
43、实际情况和需求紧迫程度,系统的建设可以采用分步实施的方案。 本系统专题数据分析规划如下:建立先进的数据仓库体系架构;建立完善的财务分析结构模型;10 建立市场分析的数据结构模型 ;建立产销存分析的数据结构模型;建立质量分析的数据结构模型;建立市场情报分析的数据结构模型;建立同行业综合分析的数据结构模型;建立设备管理分析的数据结构模型;建立备件管理分析的数据结构模型;建立生产管理分析的数据结构模型;建立其他有关分析的数据结构模型;实现界面友好、易用的分析展现前端应用。 2.3系统体系结构 2.3.1系统硬件体系结构 一般情况下,为保证处理性能并且避免相互干扰,数据仓库系统部署在单独的硬件平台上,即分析系统服务器.对于基于 Web的应用模式,也可以配备单独的 Web服务器。局域网采用以太网组网,局域网主要设备包括主机系统、存储系统、和客户端设备等。图 2.2 系统硬件体系结构 2.3.2系统软件体系结构 1.软件逻辑结构: 为了支持白沙集团长沙卷烟厂数据仓库应用系统建设的基本方针,软件的建设突出强调各运营系统如 ERP、财务、生产等与情报/信息采集系统间的资源、信息的整合和充分利用,系统采用标准化的硬件平台和组件化、模块化软件来构造。为此,我们提出了构件化软件设计模式,见图:11 数据分析各功能表现层
