IBM - 智慧的交通业.docx

1、BIG DATA & ANALYTICS 序言在 这 里 ， 我 们 很 荣 幸 能 为 大 家 推 荐 这 本 由 IBM全 球 企 业 咨 询 服 务 部 编 撰 而 成 的 智 慧 之 作 ， 大 数 据 与 分 析 解 决 方 案 集 这 一 卓 越 成 果 ， 不 仅 是 IBM多 年 咨 询 经 验 与 创 新 实 践 的 深 刻 洞 察 与 体现， 更 是 IBM与 各 行 业 、 各 领 域 有 志 在 大 数 据 时 代 开 拓 创 新 、 卓 越 领 先 的 企 业 同 仁 的 一 份 真 诚 分 享 。作 为 行 业 引 领 者 ， IBM始 终 走 在 新 趋 势 的

2、前 沿 ， 从 硅 谷 到 北 京 ， 大 数 据 的 话 题 正 在 广 泛 被 传 播 。 近 年 ， 随 着 社 交 网 络 、 移 动 互 联 网 、 企 业 信 息 化 的 迅 猛 发 展 ， IBM已 经 看 到 现 有 运 营 体 系 与 不 断 增 长 的 业 务 需 求 之 间 的 冲 突 ： 一 方 面 ， 现 有 的 IT系 统 无 法 针 对 海 量 数 据 进 行 有 效 的 收集、处理和分析；另一方面，企业高层管理人员不能及时识别现有数据中隐含的信息，进 而无法识别潜在业务风险，错失商业机会。这也正是企业在大数据时代所面临的重大挑战。今 天 ， 越 来 越 多 的

3、企 业 已 经 达 成 共 识 ， 数 据 已 经 成 为 一 种 新 的 经 济 资 产 ， 结 合 大 数 据 时 代 特 征 的 管 理 运 营 模 式 势 在 必 行 。 作 为 驱 动 企 业 智 慧 成 长 的 重 要 推 手 ， 大 数 据 与 分 析 能 够 帮 助 企 业基于大数据进行分析、预测与优化。在大数据的实施应用下，通过提高分析层次和深度， 使 得 组 织 行 为 更 有 成 效 ， 工 作 方 法 更 先 进 。 以 “大 数 据 与 分 析 ”为 核 心 ， 全 力 融 合 创 新 技 术 与行业经验，深入挖掘企业数据商业价值，达到智慧分析的效果。IBM认 为 ，

4、 对 于 企 业 来 说 ， 对 大 数 据 的 理 解 不 应 仅 仅 局 限 于 技 术 领 域 和 IT层 面 ， 而 应 扩 展 到 整个商业运营领域，成为一项业务上需要优先考虑的重要任务。因为在全球整合经济时代， 它能够带来商业模式的巨大变革。 IBM为企业逐步开展大数据举措并从大数据中获取最大的 商 业 价 值 提 供 了 五 项 关 键 建 议 ， 包 括 ： 以 “客 户 为 中 心 ”， 制 定 前 期 “大 数 据 战 略 规 划 ”、 制 定 全 面 完 整 的 企 业 “大 数 据 蓝 图 ”、 从 现 有 数 据 入 手 ， 设 定 并 完 成 短 期 和 阶 段 性

5、 的 “大 数 据战略目标”、根据业务优先级，逐步建立分析体系，循序渐进提升“大数据分析能力”以 及 定 制 可 衡 量 的 指 标 分 析 “大 数 据 ROI(投 资 回 报 率 )”。 在 “大 数 据 时 代 ”， 用 大 数 据 与 分 析来理解庞大的数据背后的有效信息，将是企业 “必须拥有”的能力，其将帮助企业提高核 心竞争力，获取更高的利润并持续地推动业务增长。在 这 里 ， IBM总 结 不 同 行 业 的 大 量 解 决 方 案 ， 将 这 些 智 慧 汇 聚 成 集 ， 推 出 大 数 据 与 分 析 解 决 方 案 集 。 书 中 结 合 中 国 企 业 现 状 与 特

6、点 ， 描 述 了 各 行 业 在 大 数 据 与 分 析 道 路 上 的 文 韬 武 略 ， 主 要 针 对 银 行 、 保 险 、 电 信 、 零 售 、 交 通 和 能 源 六 大 行 业 所 面 临 的 挑 战 ， 提 出 了 行 之 有 效的解决方案。在深入洞察市场趋势及衡量大数据应用收益的基础上， IBM通过整合软件、 硬 件 、 咨 询 服 务 、 研 发 等 各 领 域 的 最 前 沿 资 产 和 独 有 技 术 ， 紧 密 结 合 丰 富 的 市 场 经 验 和 前 瞻 性 的 创 新 理 念 ， 在 大 数 据 方 面 率 先 提 出 了 全 面 解 决 方 案 ， 为 企

7、 业 向 更 智 能 的 方 向 发 展 提 供 坚 实 的 基 础 。 IBM这 套 全 面 的 方 法 论 将 为 中 国 企 业 提 供 易 执 行、 低 成 本 、 高 效 率 的 大 数 据 制 胜 之 道 ， 也 将 有 效 地 帮 助 国 内 诸 多 企 业 开 启 “大 数 据 ,大 洞 察 “的 征 程 。目录大数据与分析 智慧的交通业智慧交通业解决方案一：交通集团财务绩效管理 .04智慧交通业解决方案二：交通行业 O & D分析 .07智慧交通业解决方案三 ： 交通行业企业级数据仓库建设 10智慧交通业解决方案四：交通行业数据综合治理 .13智慧交通业解决方案五：交通行业主

8、数据管理 16结束语 19智慧交通业解决方案一交通集团财务绩效管理面临的问题与挑战集 团 对 子 公 司 的 绩 效 管 理 指 标 和 目 标 如 何 确 定 ？ 集 团 对 二 级 公 司 的 绩 效 如 何 进 行 监 控 ？ 集 团 管 控 模 式 是 否 明 确 ？ 集 团 对 二 级 公 司 的 权 责 体 系 是 否 建 立 ？ 进 行 及 时 决 策 的 正 确 工 具 与 信 息 应 如 何 选 择 ？ 如 何 得 到 一 个 可 靠 的 计 划 以 支 持 战 略 的 实 现？ 过多的系统生成众多报告，如何得到其中可 帮 助 采 取 行 动 的 信 息 ？ 对 于 交 通

9、行 业 的 集 团 型 公 司 ， 要 想 回 答 以 上 问 题 ， 必 须 增 强 集 团 管 理 ， 重 点 提 升 在 集 团 层 面 进 行 资 源 有 效 分 配 和 控 制 。 同 时，还面临着以下的挑战。 成 本 压 力 ： 企 业 必 须 在 不 牺 牲 客 户 服 务 质 量 的 前提下消减运营成本来保持竞争力。 遵 守 法 规 与 监 管 ： 金 融 市 场 、 监 管 机 构 和 公 众 对于企业的监督呈扩大化、强化的趋势。 商 业 模 式 变 化 ： 企 业 进 入 崭 新 的 商 业 领 域 和 改 变商业战略给其财务体系提出了新的需求。 员 工 激 励 方 式 的

10、 改 变 ： 针 对 激 励 员 工 与 保 留 员 工的新挑战，提出员工能力提升的新方案。IBM的解决方案财 务 绩 效 管 理 方 法 是 企 业 创 造 真 实 价 值 的 核 心 。 财 务 绩 效 管 理 方 案 帮 助 客 户 将 战 略 贯 彻 执 行 ， 使 企 业 产 生 持 续 的 、 高 绩 效 的 回 报 。 绩 效 管 理 方 案 框 架 包 含 了 一 个 持 续 运 营 周 期 中 的 战 略 ， 目 标 建 立，规划，报告和分析。IBM利 用 最 先 进 的 工 具 进 行 市 场 环 境 模 拟 、 制 定 基 于 最 可 能 的 假 设 环 境 下 的 企

11、业 蓝 图 、 利 用 平 衡 计 分 卡 等 管 理 手 段 分 解 、 执 行 企 业 的 战 略 蓝 图 、 制 定 企 业 级 的 绩 效 指 标 、 经 营 和 财 务 计 划 预 算 等 构成了企业财务绩效管理的根本计划。如 何 保 证 我 们 的 计 划 贯 彻 执 行 ？ 是 谁 在 第 一 时 间 通 知 管 理 层 计 划 执 行 的 情 况 ？ 我 们 的 管 理 层 到 底 该 关 注 哪 些 指 标 ？ IBM的 监 控 方 案 帮 助 管 理 者 随 时 监 控 企 业 一 举 一 动 ， 并 用 最 直 观 方 式 向 管 理 层 阐释数字背后的深层问题和影响。绩

12、 效 管 理 ， 行 动 是 关 键 。 IBM帮 助 企 业 看 得 更 加 透 彻 ， 及 时 发 现 问 题 ， 及 时 传 达 改 变 ， 及 时 采 取 行 动 ， 论 证 指 标 与 计 划 变 更 合 理 性 ， 提 高 流 程 管 理 能 力 ， 设 计 (优 化 )组 织 架 构 、 岗 位 职 责 所 有 这 一 切 行 动 目 标 是 保 证 企 业 计 划 得 以 最 优 化 的 实现。具体方案表现为：BIG DATA & ANALYTICS 4 / 05企业内外部环 境扫描与行业 最佳实践分析计划 企业预算管理企业决策建模。 模拟和决策最优化制定企业战略地图和平衡计分

13、卡制定企业级绩效指标制定企业经营计划制定企业财务计划与预算企业绩效监控监控制定企业滚动预算财务报告 和财务合并企业绩效评估制作企业管理报表行动 对维持或改变企业战略地图， 绩效指标 与经营计划决定的 合理性进行论证企业行动计划业务流程提高、组织与岗位设计 培训政策、奖惩措施 企 业 战 略 地 图 和 平 衡 计 分 卡 ， 包 含 企 业 各 层 级 战 略 地 图 ， 平 衡 计 分 卡 与 部 门 (岗 位 )绩 效 合 同 ， 绩 效 管 理 流 程 ， 绩 效 管 理 制 度 ， 绩 效 管 理 表 。 企 业 级 绩 效 指 标 ， 包 含 企 业 各 层 级 (公 司 、 部 门

14、 、 岗 位 )关 键 成 功 因 素 ， 企 业 各 层 级 (公 司 、 部 门 、 岗 位 )关 键 绩 效 指 标 。 全 面 预 算 管 理 ， 包 含 经 营 计 划 ， 财 务 预 算 与 预 测 ， 投 资 (筹 资 )计 划 ， 滚 动 预 算 制 度 ， 预 算 反 馈与调整。 企 业 绩 效 监 控 ， 包 含 基 于 职 务 、 功 能 与 角 色 的 仪 表 盘 设 计 、 实 施 ， 预 算 和 实 际 差 异 分 析 ， 客 户 关 系 、 销 售 渠 道 、 内 部 运 营 等 方 面 的 绩 效 监 控 与 预 警 ， 绩 效 反 馈 与 调 整 ， 实 时

15、或 阶 段 性 绩 效分析报告。 企 业 管 理 报 表 ， 包 含 企 业 运 营 管 理 报 告 与 分 析 ， 自 定 义 管 理 报 表 ， 多 维 度 报 表 呈 现 ， 管 理 报表合并，管理报表审批工作流。方案收益与价值通 过 实 施 IBM财 务 绩 效 管 理 ， 在 财 务 实 施 效 率 以 及高层决策能力方面，具有显著提高： 运 用 的 战 略 分 解 和 价 值 关 键 驱 动 因 素 理 顺 计 划 与 报 告 分 析 框 架 和 逻 辑 ， 用 最 直 观 方 式 向 管 理 层阐释数字背后的深层问题和影响； 整 合 流 程 与 控 制 来 提 高 数 据 的 真

16、 实 性 与 结 果 的 质量，减少重复工作、手工工作及错误 ,提高重 点工作的关注，提供及时准确的决策信息； 通 过 提 供 相 关 的 、 可 操 作 的 、 准 确 且 及 时 的 信 息 来 监 控 和 提 高 绩 效 ， 决 策 者 能 够 衡 量 并 了 解 业 绩 ， 然 后 在 适 当 的 时 间 里 根 据 这 些 信 息 采 取 相应举措， 支 持 基 于 驱 动 因 素 的 计 划 与 预 测 ， 实 现 可 预 期 的、动态的资源分配，提高生产率； 数 据 应 该 转 变 为 洞 察 ， 并 能 够 在 需 要 时 交 付 ， 能 在 适 当 的 时 间 随 需 应 变

17、 地 交 付 信 息 ， 企 业 可 以 利 用 这 些 交 付 形 式 采 取 相 应 举 措 ， 实 现 运 营 利润并优化绩效。案例与实践IBM为 某 航 运 企 业 提 供 了 绩 效 管 理 方 案 ， 该 方 案 是 公 司 战 略 和 运 行 结 果 之 间 的 关 键 链 接 。 实 现 从 战 略 到 结 果 的 过 程 ， 将 决 策 层 战 略 意 图 在 运 作 层 的 贯 彻 ， 并 使 战 略 根 据 运 行 结 果 的 反 馈 跟 随 市 场 变 化 而 更 新 ， 从 而 始 终 保 持 指 导 业 务 的 有 效 性 ， 主要目标如下： 选择平衡的 ,全方位的

18、评测标准，从战略推导来 管理业绩关键指标； 引 入 平 衡 计 分 卡 的 概 念 以 加 强 客 户 和 学 习 成 长 视角关注； 业 绩 管 理 的 目 标 值 获 取 来 源 于 全 面 预 算 ， 并 通 过指标权重标明公司战略重点； 建 立 业 绩 管 理 流 程 , 动 态 跟 踪 分 析 业 绩 完 成 情 况 ； 实 施 业 绩 管 理 系 统 全 面 快 速 掌 控 情 况 ， 通 过 表 格 或 图 形 的 方 式 对 关 键 指 标 和 分 析 内 容 设 置 告 警 信 息 ， 当 指 标 和 分 析 内 容 超 出 了 预 先 设 定 的 警 戒 线 时 ， 通 过

19、 在 表 格 或 图 表 添 加 不 同 的 颜 色 来示警。BIG DATA & ANALYTICS 6 / 07智慧交通业解决方案二交通行业 O & D分析面临的问题与挑战航 空 公 司 、 物 流 公 司 正 向 “以 旅 客 为 中 心 ” 的 运 营 模 式 转 变 ， 重 点 在 于 航 班 管 理 、 航 次 管 理 和 收 益 控 制 。 航 空 公 司 、 物 流公 司 的 运 营 数 据 主 要 包括 商务 方 面 的 数 据 、 航 务 方 面 的 数 据 、 机 务 方 面 的 数 据 ， 以 及 管 理 控 制 方 面 的 数 据 等 。 这 些 数 据 对 于 航

20、空公 司 、 物 流公 司 来 讲十分 重 要 。 随着 公 司 的 不 断发 展 壮 大 ， 机 队 增 多 ， 航 线 增 多 ， 这 些数 据 量 还 在不 断 增 大 ， 公 司 对 海 量 的 运 营 数 据 缺 乏 有 效 管 理 和 分 析 ， 从 而 无 法从 这 些 数 据 中 获 得 有 效 的 信息 ， 很 难 对 相 关 的 参 数 做 出 正 确 的 调 整 ， 不 能 在 第 一 时 间 全 面 掌 握 市 场 的 变 化 ， 优 化 航 线 网 络 的 整 体 收 益 。IBM的解决方案IBM的解决方案以物流公司为例：货 流 网 络 模 型 是 以 货 物 流 向

21、 及 其 细 分 运 输 环 节 为 核 算 与 分 析 对 象 的 体 系 ， 包 括 由 基 础 概 念 ， 核 算 体 系 ， 应 用 模 型 三 个 层 面 的 内 容 ， 实 现 货 流 多 维 分 析 模 型 ， 航 线 贡 献 分 析 与 模 拟 ， 客 户 贡 献 分 析 等 。分 析 模 型 以 货 流 为 成 本 基 础 ， 形 成 面 向 航 线 、 航 次、客户、贸易区的多维分析： 以 分 路 径 货 流 段 的 单 箱 成 本 与 费 用 为 基 础 ， 分 析航线和贸易区承运方面的成本和费用 (贸易区 包 含 航 线 ， 航 线 包 含 多 个 分 路 径 货 流

22、段 )； 以 分 路 径 货 流 的 收 入 和 成 本 为 基 础 ， 分 析 航 线 和贸易区销售方面的贡献值 (贸易区包含航线 ， 航 线 包 含 分 路 径 货 流 段 )； 以 分 路 径 货 流 的 平 均 单 箱 成 本 和 费 用 为 基 础 ， 再 根 据 提 单 内 收 入 信 息 针 对 提 单 /航 次 /客 户 分 析贡献值。航 收 入 ， 汇 总 取 得 航 线 总 收 入 ， 从 而 有 效 的 建立 航 线 海 运 段 收 入 与 海 运 段 承 运 成 本 的 配 比 关 系 ， 并 进 行 相 应 的 盈 利 性 分 析 和 航 线 建 立 /取 消 /微调

23、的本量利模拟。货 流 分 析 体 系 以 货 流 为 最 小 单 元 计 算 客 户 总 贡 献 。 客 户 采 购 了 哪 几 条 货 流 ， 每 条 货 流 采 购 的 箱 量 ， 再 根 据 每 条 货 流 的 平 均 单 箱 收 入 、 成 本 和 贡 献 ， 得 到 客 户 的 贡 献 总 和 以 及 在 每 条 货 流 对公司的总贡献和汇总平均后的单箱贡献。分 配 准 确 性 ， 并 强 力 支 持 航 线 贡 献 分 析 与 模 拟 ，同时加强对客户贡献分析的把握。 货 流 分 析 体 系 可 以 通 过 取 得 分 到 每 个 运 输 环 节的 单 箱 承 运 成 本 ， 容

24、易 地 将 支 线 段 承 运 成 本 分 配 到 干 线 货 及 其 销 售 贸 易 区 之 中 。 管 理 能 够 透 彻 了 解 和 分 析 交 叉 业 务 模 式 掩 盖 下 的 航 次 /航 线 /航线群 /贸易区域 /贸易区的真实绩效。起点 终点起点 接货点 ）出口重 箱站场 始发港 转船港 目的港进口重 箱站场起点 接货点 ）出口重 箱站场 始发港 转船港 目的港进口重 箱站场货流货流A G分路径货流与货流段分路径货流 （货流段 货流段 货流段 货流段 货流段 货流段A B C D E F G分路径货流段（货流段 货流段A B C D E F G分路径 不同的运 不同的重 不同的

25、 不同的 不同的货流段 输方式 箱推场 码头 航线 码头 分路径货流段方案收益与价值O&D分析实施后 ， 能够有效提高干支线内部成本 货 流 分 析 体 系 找 到 了 航 线 和 货 流 /货 流 段 的 天 然 联 系 ， 并 通 过 取 得 航 线 对 应 各 个 货 流 段 的 直BIG DATA & ANALYTICS 8 / 09案例与实践IBM为 某 航 运 企 业 实 施 的 货 流 网 络 分 析 模 型 ， 是 以 货 物 流 向 及 其 细 分 运 输 环 节 为 核 算 与 分 析 对 象 的 体 系 ， 包 括 由 基 础 概 念 ， 核 算 体 系 ， 应 用 模

26、型 三 个 层 面 的 内 容 ， 有 效 突 破 该 企 业 当 前 的 管 理 信 息瓶颈。货流分析模型货流核算体系货流概念架构该 案 例 实 现 了 干 支 线 内 部 成 本 准 确 分 配 ， 支 持 航 线 贡 献 分 析 与 模 拟 ， 能 销 售 接 单 和 销 售 定 价 ， 更 好 地 支 持 客 户 贡 献 分 析 ， 更 准 确 合 理 地 分 配 箱 管 成本等。航 收 入 ， 汇 总 取 得 航 线 总 收 入 ， 从 而 有 效 的 建立 航 线 海 运 段 收 入 与 海 运 段 承 运 成 本 的 配 比 关 系 ， 并 进 行 相 应 的 盈 利 性 分 析

27、 和 航 线 建 立 /取 消 /微调的本量利模拟。货 流 分 析 体 系 以 货 流 为 最 小 单 元 计 算 客 户 总 贡 献 。 客 户 采 购 了 哪 几 条 货 流 ， 每 条 货 流 采 购 的 箱 量 ， 再 根 据 每 条 货 流 的 平 均 单 箱 收 入 、 成 本 和 贡 献 ， 得 到 客 户 的 贡 献 总 和 以 及 在 每 条 货 流 对公司的总贡献和汇总平均后的单箱贡献。分 配 准 确 性 ， 并 强 力 支 持 航 线 贡 献 分 析 与 模 拟 ，同时加强对客户贡献分析的把握。 货 流 分 析 体 系 可 以 通 过 取 得 分 到 每 个 运 输 环

28、节的 单 箱 承 运 成 本 ， 容 易 地 将 支 线 段 承 运 成 本 分 配 到 干 线 货 及 其 销 售 贸 易 区 之 中 。 管 理 能 够 透 彻 了 解 和 分 析 交 叉 业 务 模 式 掩 盖 下 的 航 次 /航 线 /航线群 /贸易区域 /贸易区的真实绩效。智慧交通业解决方案三交通行业企业级数据仓库建设面临的问题与挑战交 通 行 业 要 想 成 功 建 设 数 据 库 ， 必 须 先 对 以 下 的 关键性问题需要解答。销 售 与 渠 道 ： 如 何 控 制 销 售 渠 道 的 成 本 ？ 如 何 改 善 渠 道 的 效 率 减 少 代 理 的 违 规 操 作 及

29、欺 诈 ？ 电 子 商 务 带 来 什 么 影 响 ？ 怎 样 发 展 新 客 户 ， 进 行 客 户 分 类 ， 留 住 现 有 客 户 ？ 如 何 提 高 促 销 的 效 率 ， 提 高 客 户 的 反 应 率 ？ 如 何 管 理 好 VIP客 户 及 合 作 伙 伴 ？客 户 服 务 ： 如 何 提 高 服 务 质 量 ， 提 高 客 户 的 满 意 度 ， 并 找 出 客 户 不 满 意 的 原 因 ， 从 而 采 取 措 来 补 偿客户的不满？运 营 管 理 ： 维 护 成 本 是 否 合 适 ？ 备 件 库 存 是 否 过 高 ？ 运 营 的 准 点 率 如 何 ？ 运 营 人 员

30、 的 出 勤 率 是 多 少 ？计 划 和 产 品 ： 如 何 合 理 规 划 网 络 和 运 营 线 路 ？ 如 何 使 运 营 线 路 盈 利 最 大 化 ？ 哪 些 代 理 销 售 的 收 益 最高？哪些产品的收益最高？IBM的解决方案建 设 企 业 级 数 据 仓 库 的 目 的 ， 是 整 合 现 有 营 销 、 服 务 ， 运 营 等 体 系 下 的 应 用 分 析 系 统 内 有 价 值 的 数 据 。 整 个 平 台 包 括 数 据 抽 取 、 存 储 、 整 合 、 分 析 、 挖 掘 及 应 用 ， 为 市 场 营 销 、 客 户 服 务 、 产 品 设 计 监 控 及 运

31、 营 管 理 提 供 数 据 支 撑 ， 并 为 企 业 领 导决策提供重要参考。 IBM交通行业数据仓库应 用 架 构 如 P11图 所 示 。基 于 要 实 现 的 以 上 应 用 ， IBM设 计 数 据 仓 库 的 技 术 架 构 ， 如 P12图 所 示 。用 户 界面 和 前 端访 问 ： 采 用 零 客 户 端 的 浏 览器 作 为 信 息 浏 览 工 具 ， 包 括 信 息 门 户 、 用户 认 证 和 授 权 、 界 面 个性 化 支 持 、 功 能搜 索 、 应 用 界 面 整 合 几 个 部 分 。 为 使 用 者 提 供 了 更 强 大 的 界 面 展 现 和 交 互

32、能 力 。BIG DATA & ANALYTICS 10 / 11防欺诈 管理BSC/Dashboard管理收入保障 管理航线计划和定价 管理客户 挽留和赢回客户忠诚度 管理主动营销 针对性营销渠道 /代理商 管理客户 分析业务/产品 发展分析收入 分析和预测成本 分析网络效益 分析延误与 调整分析采购 营销 可靠性 客户服务 运营绩效 维修/生产分析 分析 分析 分析 分析 计划分析职能化应用挖掘分析基本分析支撑预测 客户贡献度分析航线优化 模型LTV生命周期 价值模型向上 /交叉 销售模型客户信用度 模型发现描述客户价格 模型客户分群 模型客户流失 预测模型客户 /产品 关联分析企业运营存

33、储ODC数据集市 数据集市 数据集市 数据仓库 EDW前 端 展 现 ： 提 供 数 据 交 付 和 数 据 查 询 等 服 务 功 能 ， 包 括 报 表 生 成 、 报 表 缓 存 、 报 表 即 时 查 询 、 基 础 数 据 即 时 查 询 和 应 用 数 据 定 时 推 送 等 ， 还 提 供数据质量管理，元数据管理，安全管理等。数 据 存 储 ： 数 据 存 储 主 要 涉 及 到 模 型 及 其 分 层 。 IBM的 解 决 方 案 采 用 分 层 的 数 据 存 储 架 构 ， 满 足 灵 活 的 数 据 分 析 需 求 ， 并 易 于 适 应 数 据 源 的 变 更 ， 基

34、础 数 据 层 面 向 数 据 源 ； 报 表 集 市 层 和 多 维 立 方 体 面 向 分 析 应 用 ； 汇 总 数 据 层 汇 总 基 础 层 数 据得到并生成报表集市层。数 据 整 合 ： 以 多 种 方 式 (数 据 库 直 接 访 问 ， 数 据 库 复 制 技 术 、 文 件 访 问 )从 源 系 统 获 取 到 数 据 之 后 ， 在 作 业 调 度 引 擎 的 统 一 调 度 下 ， 按 照 定 义 好 的 流 程 经 过 数 据 抽 取 、 数 据 整理 、 数 据转换 、 数 据加 载几 个 关 键 环 节 最 终 存 储 到 EDW中 ； 另 外 有 些 已 经 预

35、处 理 好 的 文 件 数 据 可 以 直 接 通 过 数 据 加 载 方 式 把 数 据 纳 入 到 EDW； 同 时 对 于 需 要 EDW以 文 件 方 式 提 供 数据 服务 的 数 据 ， 作 业 调 度 引 擎 自 动 地 将 数据 通 过 共 享 转 换 模 块 生 成相 应 的 文 件 。 其 中 流 程 出 现 的 异 常 情 况 均 是 由 异 常 管 理来 管 控 ， 通 过人 工 或 者 自 动 的 方 式 来 进 行 异 常 的 恢 复 。航 收 入 ， 汇 总 取 得 航 线 总 收 入 ， 从 而 有 效 的 建立 航 线 海 运 段 收 入 与 海 运 段 承

36、运 成 本 的 配 比 关 系 ， 并 进 行 相 应 的 盈 利 性 分 析 和 航 线 建 立 /取 消 /微调的本量利模拟。货 流 分 析 体 系 以 货 流 为 最 小 单 元 计 算 客 户 总 贡 献 。 客 户 采 购 了 哪 几 条 货 流 ， 每 条 货 流 采 购 的 箱 量 ， 再 根 据 每 条 货 流 的 平 均 单 箱 收 入 、 成 本 和 贡 献 ， 得 到 客 户 的 贡 献 总 和 以 及 在 每 条 货 流 对公司的总贡献和汇总平均后的单箱贡献。分 配 准 确 性 ， 并 强 力 支 持 航 线 贡 献 分 析 与 模 拟 ，同时加强对客户贡献分析的把握。

37、 货 流 分 析 体 系 可 以 通 过 取 得 分 到 每 个 运 输 环 节的 单 箱 承 运 成 本 ， 容 易 地 将 支 线 段 承 运 成 本 分 配 到 干 线 货 及 其 销 售 贸 易 区 之 中 。 管 理 能 够 透 彻 了 解 和 分 析 交 叉 业 务 模 式 掩 盖 下 的 航 次 /航 线 /航线群 /贸易区域 /贸易区的真实绩效。报表生成报表缓存报表格式转换浏览负载平衡报表订阅和发送业务视图个性化展现语义层用户功能权限用 户 数 据 访 问 安 全元 数 据 存 储 RDMSHTTP服务Web应用界面前端应用服务前端访问审计访问量记录 统计报告沟通和协作支持邮件

38、通知 讨论板应用安全管理 数据交付服务功能权限管理数 据 访 问 安 全 管 理企 业 身 份 认 证 接 口前端元数据分析与查询服务报表浏览服务OLAP多维展现服务管理仪表板展现服务挖 掘 结 果 展 现 服 务即 席 查 询 展 现 服 务Web应 用 服 务 数据仓库访问接口RDBMS访问接口数据挖掘存储前端作业管理日常作业调度 作业调度关联处理RDBMSData Access ViewSummary LayerIntegrated LayerSource Copy layerHistory报 表 文 件设 计 文 件审 计 文 件多 维 立 方 体多 维 模 型多 维 报 表 文 件关

39、系数据库维度分区定义主题域定义汇总数据事实数据历史数据数 据 层 次 结 构参 照 数 据数 据 模 型数 据 钻 取 路 径数 据 访 问 权 限RDBMSMDBMSStar/Snowfake抽 取 源 数 据整 理 过 程 数 据待 加 载 数 据文 件 存 储 服 务运营数据仓储 前端数据存储多 维 数 据 存 储数据仓库存储相关元数据数据集市 阶 段 工 作 区 (Staging)归档数据存储 (ADS)历史归档数据数 据 整 合数 据 计 算数 据 聚 合数 据 转 换 对 照数 据 整 合数 据 计 算数 据 聚 合数 据 转 换 对 照抽取接口支持数据获取数据拆分源数据映射增量处

40、理数 据 整 合数 据 计 算数 据 聚 合数 据 转 换 对 照数据合法性验证数据格式整理数据编码整理重复数据归并数值单位统一业务代码整理日常作业调度异常处理开发支持计 数 /统 计 数 平 衡拒绝数据处理改进跟进流程运作元数据业务规则数据映射元数据储存分 析 层 数 据 增 强 数 据 转 换 数据抽取多 维 集 市 数 据 转 换 数据加载数据整理数据添加和更新加载后处理ETL作 业 管 理多 维 集 市 数 据 加 载多 维 数 据 添 加 和 刷 新加 载 后 处 理 质量控制 ETL相关数据日 常 管 理文件共享支持FTP服 务数据挖掘 源数据访问接口挖 掘 数 据 添 加 和 更

41、 新 ROBMS访 问 接 口生 成 模 型 /结 论 FTP客 户 端信息访问界面界面个性化支持文档服务文件搜索用户界面 浏览器 Web浏 览 器前端访问信息访问界面前端展现 数据存储 数据整合电子邮件电子邮件客户端办公室软件 电子表格工具 文件浏览器工具参 数 管 理中 间 表 管 理阶 段 工 作 区 管 理挖掘模型定义挖掘模型挖掘结果元 数 据 管 理 元数据储存和管理 元数据管理系统安全 企业用户管理 备份和恢复系统管理系统监控完 全 管 理 系 统 管 理元数据展现 元数据分析 元 数 据 储 存 RDMS 元数据导入/导出 元数据系统接口LDAP服 务 用户认证服务 用户认证管理

42、操 作 系 统 应用运行环境 应用文本文件 数据库环境硬件 /网络状态监控 操作系统状态监控 数据库状态监控 前端应用监控 数据整合应用监控案例与实践IBM实 施 了 某 航 空 公 司 数 据 仓 库 项 目 。 为 了 更 好 的 实 现 和 支 持 公 司 战 略 目 标 ， 该 公 司 需 要 一 个 企 业 级 的 统 一 信 息 视 图 。 配 合 客 户 关 系 管 理 的 需 要 ， IBM创 立 了 一 个 企 业 数 据 仓 库 。 通 过 整 合 大 量 的 业 务 系 统 的 信 息 ， 企 业 数 据 仓 库 提 供 了 一 个 业务的统一视图： IBM帮 助 客 户

43、 建 立 一 个 针 对 4千 万 客 户 数 的 业 务数据库； 前端应用服务用 JSP网页的界面 ； 新系统与旧的常飞旅客数据库系统同步 ； 具有高可用性 ， 故障检测和转移功能 。 项 目 实 施 后 ， 在 1-2年 内 就 收 回 了 成 本 ， 实 现 了 更 迅 速 的 市 场 反 应 能 力 ， 提 高 了 操 作 交 易 的 效率 ， 最 大 化 了 座 位 利 用 率 。 IBM的 解 决 方 案 提 供 了 一 个 统 一 的 数 据 源 ， 提 高 了 访 问 效 率 。 并 且 有 效 利 用 共 享 的 客 户 智 能 ， 同 时 也 建 立 一 个 完 整 准 确

44、的企业信息视图。BIG DATA & ANALYTICS 12 / 13智慧交通业解决方案四交通行业数据综合治理面临的问题与挑战交 通 业 作 为 国 民 经 济 和 社 会 发 展 的 基 础 行 业 ， 在 新 一 轮 科 技 革 命 中 必 须 加 快 信 息 化 改 造 进 程 ， 以 信 息 化 带 动 业 务 发 展 。 目 前 ， 交 通 行 业 从 组 织 管 控 、 业 务 线 重 视 和 参 与 程 度 、 IT系 统 和 数 据 架 构 四个方面来看，主要面临以下问题： 相 关 负 责 人 责 任 不 明 确 ， 缺 乏 业 务 人 员 参 与 数 据 管 理 组 织 、

45、 统 一 协 调 机 构 、 以 及 相 应 的 岗 位 来进行跨部门的元数据管理。 重 点 表 现 为 业 务 部 门 没 有 提 供 数 据 的 驱 动 力 ， 规 范 变 更 的 通 知 机 制 不 完 善 ， 既 定 规 章 制 度 、 流 程 没 有 被 严 格 执 行 ， 缺 乏 对 可 信 赖 数 据 源 的 认证流程。 缺 乏 一 致 的 业 务 规 则 、 数 据 标 准 和 数 据 架 构 ， IT系 统 得 随 时 更 动 ， 以 满 足 业 务 需 求 。 IT设 计 和 业 务 、 流 程 、 功 能 、 数 据 等 设 计 分 离 ， 并 且 各个系统功能重叠，人工

46、处理情况时常发生。 面 向 功 能 为 主 的 架 构 设 计 ， 缺 乏 企 业 整 体 的 宏 观 设 计 。 相 同 的 数 据 存 放 多 处 ， 各 个 系 统 都 可 以 进 行 处 理 ， 数 据 不 同 步 、 不 一 致 的 问 题 非 常 严 重 ， 使 数 据 的 交 换 和 共 享 非 常 困 难 。 缺 乏 统 一 的 标 准 ， 很 难 建 立 客 观 数 据 质 量 评 测 和 考 核 机 制 。IBM的 解 决 方 案数 据 治 理 是 对 人 员 、 流 程 及 技 术 之 间 的 组 织 、 安 排 、 和 协 作 ， 从 而 使 得 企 业 可 以 将 信

47、 息 作 为 企 业 资 产 。 换 言 之 ， 数 据 治 理 是 构 造 、 描 述 及 治 理 所 有 信 息 资 产 的 综 合 方 法 ， 可 以 改 善 企 业 经 营 效 率、提高透明度及深化对业务的理解。 通过数据 治 理 ， 使 得 企 业 能 将 数 据 作 为 企 业 的 重 要 资 产 从 而更为有效地利用，其主要目标是： 开发共用的 、 标准的数据定义 ； 定 义 持 续 开 展 数 据 管 控 所 需 的 业 务 过 程 与 规 则 ； 建立可持续的数据管控架构 、 技术与组织 ；航 收 入 ， 汇 总 取 得 航 线 总 收 入 ， 从 而 有 效 的 建立 航

48、线 海 运 段 收 入 与 海 运 段 承 运 成 本 的 配 比 关 系 ， 并 进 行 相 应 的 盈 利 性 分 析 和 航 线 建 立 /取 消 /微调的本量利模拟。货 流 分 析 体 系 以 货 流 为 最 小 单 元 计 算 客 户 总 贡 献 。 客 户 采 购 了 哪 几 条 货 流 ， 每 条 货 流 采 购 的 箱 量 ， 再 根 据 每 条 货 流 的 平 均 单 箱 收 入 、 成 本 和 贡 献 ， 得 到 客 户 的 贡 献 总 和 以 及 在 每 条 货 流 对公司的总贡献和汇总平均后的单箱贡献。分 配 准 确 性 ， 并 强 力 支 持 航 线 贡 献 分 析

49、与 模 拟 ，同时加强对客户贡献分析的把握。 货 流 分 析 体 系 可 以 通 过 取 得 分 到 每 个 运 输 环 节的 单 箱 承 运 成 本 ， 容 易 地 将 支 线 段 承 运 成 本 分 配 到 干 线 货 及 其 销 售 贸 易 区 之 中 。 管 理 能 够 透 彻 了 解 和 分 析 交 叉 业 务 模 式 掩 盖 下 的 航 次 /航 线 /航线群 /贸易区域 /贸易区的真实绩效。 基于统一的过程识别并消除数据质量问题 ； 监控 、 管理与报告数据质量 。数 据 治 理 不 仅 仅 是 技 术 问 题 ， 而 是 管 理 和 技 术 的 有 效 结 合 ， 在 获 取 企 业 管 理 高 层 和 关 键 人 员 支 持 和 参 与 的 基 础 上 ， 对 当 前 的 数 据 治 理 策 略 和 路 线 图 、 数 据 治 理 框 架 、 相 关 的 管 理 组 织 以 及 重 要 的 利 益 相 关 方 进 行 回 顾 和 访 谈 ， 分 析 当 前 的 主 要 痛 点 并 评 估 当 前 的 数 据 治 理 能 力 ， 发 现 企 业 存 在 的 关 键 数 据 质 量 问 题 和 矛 盾 ， 找 出 与 最