1、发掘您的数字财富,郝雪莹 微软（中国）有限公司,为什么要商业智能?,业务的脚步在加快 做出明智决策的可用时间越来越紧迫 新的洞察力很重要 增长收入 降低支出 最终用户需要更多更复杂更频繁的报告 新的分析应用增强了用户的主观能动性 减轻了I.T.部门的负担,分析瘫痪 听起来很熟悉?,我有许多数据但我还是得不到足够的信息 为什么我所有的报告关系一点也不紧密? 昨天管理工作就需要得到答案了 谁有时间去做分析?,分析瘫痪 你并不是唯一有这种困惑的,可用的商业数据正在以几何级数据在增长 每周需要做出关键决策的次数是五年前的三倍 专门从事分析服务的人员在过去五年中减少了50%,来源: Gartner Gr
2、oup,商业智能-将您的数字变成信息,Information Knowledge Insight Action Results,Information Knowledge Insight Action,Information Knowledge Insight,Information Knowledge,Information,Closed loop,为什么要在DW中增加OLAP?,OLAP 支持动态分析 直接的多维模型 对大型数据库快速的响应时间 规则的分析查询与业务逻辑 提供了在不同层次上的分析 可以从多个角度来观察数据 可以很容易地从整体到细节来分析数据,OLAP数据是一致的 多维数据
3、大量的数据 快速的查询时间 功能强大的分析服务 强大的计算功能 最终用户的友好性,OLAP to the Rescue OLAP是跨越分析鸿沟的桥梁,关系型数据库 存储了大量数据 (OLTP) 需要IT的专业知识 包含很少的计算功能 / 分析能力,电子数据表 分析少量数据 可以前端用户分发 不能协调所有数据的一致性,OLAP to the Rescue OLAP 的定义,联机分析处理（OLAP） 与 OLTP相对 术语由 E.F. Codd 给出 一般来讲与EIS, DSS,商业智能是同义的 数据的视图是多维的 数据模型 性能是关键,OLAP to the Rescue 在OLAP中存储数据,
4、数据库 Cubes 维度 Measures,Gadgets Gizmos Thingies Widgets,Q1 Q2 Q3 Q4,US,Europe,Asia,130 135 140 142,205 390 350 475,175 230 190 250,310 340 410 450,OLAP to the Rescue,数据库 存储用来分析的对象和数据 Cube 用来度量的多维阵列 维度(Dimension) 层次型描述实体的集合 时间,组织,产品,地点,等 度量(Measure) 数量,值 收入,花销,销售预算,实际销售额,销售总数等,OLAP to the Rescue 灵活的导航,
5、Slice and Dice 向下钻取, 向上钻取 Twist and Pivot,OLAP 是用来推进数据观察,分析与导航的一种技术。与一般的存储技术不同的是,OLAP是观察和分析数据的概念模型,OLAP to the Rescue 数据的多维视图,Profit by Division by Country by Month by Actual/Budget,Revenue by Product by Region by Sales Rep by Quarter,Revenue by Customer by Industry by Channel by Week,Volume by Plan
6、t by Shift by Product by Day,OLAP to the Rescue OLAP的应用,OLAP可以用作: 分析总结数据 使用类别(维度)来分析数字化数据 OLAP一般不用作 存储非数字的数据 Transaction的处理,OLAP 与数据仓库 The Big Picture,OLAP是用户可部署的,OLTP Source,External Data,Transformation,Data Warehouse,OLAP,End Users,Data Mart,Coca-Cola,24,Week Ending,03,10,17,OLAP: An Example,Food,
7、24,“给我看看可口可乐通过食品渠道在24号那一周的销售情况”,商业智能领先者,Source: Gartner Research,市场表现如何？,http:/,Microsoft商业智能一枝独秀,Source: OLAP Report,“尽管其它几个主要厂商都在衰退，Microsoft OLAP部署在2001年增长迅猛。” OLAP Report和OLAP Survey的主笔人Nigel Pendse说，“按照OLAP许可证费（那是新增销售的最好证明）来看，Microsoft显然是2001年的领先者，而这导致了Microsoft和其行业合作伙伴在相关工具、应用程序和服务方面迅猛增长。”,SQL
8、 Server 2000 Analysis Services Microsofts 商业智能解决方案,完整的 BI 提供者,SQL Server 2000 具备可扩展RDBMS的完整的平台,包括: Data Transformation Services Analysis Services (OLAP and Data Mining) Metadata Services English Query Office XP Excel 内置的 PivotTable Service 可定制开发的Web组件 SharePoint Microsoft Data Analyzer,Analysis Serv
9、ices 体系结构,Analysis Server,Application,Analysis Services,OLAP Engine,Data Mining Engine,TCP/IP,HTTP,Analysis Services 体系结构 MS OLAP 灵活的存储,用户与应用只能看到 Cubes,Analysis Services 体系结构 客户/服务器缓存,1) Jan01, Feb01, and Mar01 sales,Client,Server,2) Q101 Sales,3) Q100 Sales,1) Jan01, Feb01, and Mar01 sales,3) Q100
10、Sales,Client can calculate,Only Q100 needed from server,Analysis Services 体系结构 数据存储 最小化数据爆炸,数据爆炸 OLAP在历史上的缺陷 100%密集 No heaters sold in Phoenix in July; no storage allocated 智能化的聚集设计仅预聚合数据的子集 压缩算法,SQL Server 2000 Analysis Services 数据挖掘 电影租借的例子,在线的电影租借 “电影爱好者俱乐部” 会员的信息是已知的 统计信息 喜好的电影 目标: 增加销售额! 我们希望做出
11、这样的预测: 客户喜欢的电影 我们需要输入的数据: 统计信息 客户喜欢的其它电影 使用了什么样的算法? Decision tree from SQL Analysis Services,SQL Server 2000 Analysis Services Data Mining 将相关的数据结合,将用户统计信息聚合 与相关喜爱的电影联系在一起,SQL Server 2000 Analysis Services Decision Trees First Classification,SQL Server 2000 Analysis Services Decision Trees 第二次分类,理解与
12、预测个体的相关态度 - 决策树 预测信用风险 预测购买习惯,Married,Good (2),Poor (0),Not married,Good (0),Poor (1),High,Good (2),Poor (1),Low,Good (0),Poor (2),Income,Good (2),Poor (3),High income, married,Data Mining Services,将个体行为与群体匹配 聚集 举办一个市场活动 理解不同的客户从而更好地提供相应产品与服务,Separate strategies per cluster,Data Mining Services,SQL
13、Server 2000 Analysis Services 性能,支持实时分析的性能 分析挖掘相应的可能与倾向 Queries lead to more queries 首先要计算聚合信息 Answers questions ahead of time Improves query performance Set when cube is saved, and is reconfigurable Trade-off: Performance against space More aggregations take up more space Analysis services provides
14、 estimates,Analysis Services 体系结构 数据存储 最小化数据爆炸,数据爆炸 OLAP在历史上的缺陷 100%密集 智能化的聚集设计仅预聚合数据的子集 压缩算法,演示：,DTS OLAP Data Mining Integrate with Excel/Web/Data Analyzer Fulltext Search,布置数据,停止用户直接访问数据! 把数据展现给用户使用用户每天都使用的工具 Web Browser Microsoft Office Portal LOB application 赋予他们理解数据的能力!,不同的用户与需求,Strategic Anal
15、ysis,Monitoring,Interactive Reporting,Desktop Tool,Dashboard,Web-based Active Reports,分析家,偶发用户,T3 Project Goals,通过演示设计,布署,管理企业级的OLAP实现来展示: 真实的业务问题,使用真实的数据 所有的数据都在cube中! 易于使用,灵活,可扩展,可靠 Analysis Services, ES7000 server ,EMC企业级存储平台 ProClarity分析工具集的强大功能 迅速对超过1.2TB的原始数据构建的MOLAP进行复杂查询,Unisys,T3 Cube,零售业数据库,包括 7.7 billion 行, 涵盖: 716,000 产品 3 渠道 71 城市 按周计算, 超过五年的时间 每行包含31个measures 每个产品包括140个属性 1.2 TB 未经加工的原始数据 无索引的 在一台服务器上,维度的结构,雪花型架构,性能,处理 7.7 billion 行, 50 小时 153 million 行/小时 42,000行/秒 60-70% CPU 利用率 查询 平均响应时间1.2 秒 (冷缓存) 平均响应时间0.08 秒 (warm缓存) 非常低的CPU负荷,SQL Server 2000,
