大数据应用的需求分析方法.doc

1、大数 据 应 用 的 需 求 分 析 方法张靖笙传 统 方 法 在 大 数 据 需 求 面 前 遇 到 问 题需 求 分 析 阶 段 关 系 到 一 个 软 件 开 发 的 成 败 ， 这 已 经 得 到 了 普 遍 的 认 识 ,然 而 ， 根据 作 者 实 战 经 验 ， 在 大 数 据 应 用 项 目 中 ， 按 照 传 统 软 件 工 程 规 范 要 求 的 需 求 分 析 往 往是 一 个 非 常 尴 尬 的 过 程 ， 为 什 么 呢 ?根 据 笔 者 在 实 际 工 作 中 的 经 验 ,问 题 主 要 来 自 以 下 方 面 ：1.需 求 分 析 本 身 的 难 度 。 需 求

2、 的 任 务 是 了 解 和 描 述 软 件 用 户 对 软 件 的 需 求 ， 即 明 确做 什 么 。 但 在 实 际 的 软 件 开 发 中 ， 用 户 了 解 他 们 的 专 业 领 域 ， 但 计 算 机 知 识 ， 特 别 是 软件 知 识 往 往 比 较 薄 弱 ,而 开 发 人 员 与 此 恰 好 相 反 ， 而 在 需 求 分 析 的 过 程 中 ， 双 方 面 对 的往 往 不 是 一 个 可 见 的 产 品 ， 而 只 是 头 脑 中 的 构 思 和 想 象 ， 由 于 专 业 的 差 异 和 沟 通 的 有 限 ，用 户 的 许 多 需 求 对 开 发 人 员 来 说

3、往 往 是 难 于 理 解 的 和 准 确 把 握 。2.传 统 软 件 工 程 规 范 在 需 求 分 析 的 严 格 执 行 有 实 际 管 理 上 的 难 度 。 在 广 大 的 应 用 软件 开 发 部 门 ， 软 件 开 发 工 作 的 地 位 往 往 只 是 本 单 位 业 务 的 辅 助 ， 一 般 没 有 专 职 的 而 且 非常 有 经 验 的 系 统 分 析 员 ， 需 求 分 析 往 往 由 主 管 经 理 和 开 发 程 序 员 简 单 进 行 ， 而 领 导 往往 重 成 绩 多 于 重 过 程 ， 对 于 一 个 没 有 显 效 的 需 求 分 析 过 程 ， 领

4、导 的 耐 心 往 往 有 限 ， 这就 造 成 了 对 需 求 分 析 缺 乏 严 格 的 管 理 和 要 求 。3.严 格 按 照 软 件 工 程 规 范 要 求 进 行 需 求 分 析 在 时 间 和 开 发 成 本 的 限 制 。 由 于 用 户 对软 件 技 术 的 认 识 水 平 ， 他 们 对 软 件 的 开 发 在 时 间 上 往 往 要 求 过 高 ， 特 别 当 用 户 是 单 位 的上 层 领 导 ， 他 们 往 往 觉 得 这 种 对 他 们 而 言 空 洞 无 物 的 分 析 是 开 发 人 员 的 纸 上 谈 兵 ,时间 一 长 不 免 就 会 流 露 出 不 满

5、。 这 令 开 发 人 员 非 常 尴 尬 ， 往 往 非 常 严 重 地 打 击 他 们 的 自信 心 和 士 气 。综 上 所 述 ， 传 统 软 件 工 程 规 范 中 需 求 分 析 理 论 在 实 践 中 的 矛 盾 是 成 本 ， 效 率 和 规 范要 求 间 的 矛 盾 。 而 忽 略 规 范 要 求 的 代 价 也 是 惨 重 的 ， 那 我 们 能 找 到 一 种 方 法 解 决 以 上 矛盾 吗 ？ 大 数 据 应 用 的 需 求 特 点数 据 库 技 术 的 核 心 思 想 是 数 据 的 独 立 与 共 享 ， 所 以 开 发 数 据 应 用 ， 就 是 利 用 云 计

6、 算 、数 据 库 、 数 据 分 析 等 技 术 来 组 织 、 管 理 和 使 用 信 息 。 不 同 形 式 的 数 据 应 用 可 谓 多 种 多 样 ，但 功 能 需 求 的 核 心 是 围 绕 着 数 据 分 析 需 求 来 展 开 的 。 笔 者 曾 开 发 过 多 个 不 同 应 用 领域 的 数 据 应 用 ， 我 发 现 在 数 据 应 用 中 虽 然 功 能 很 多 ， 许 多 功 能 在 逻 辑 上 相 似 ， 往 往 只 是处 理 的 数 据 不 同 ， 所 以 ， 笔 者 认 为 数 据 应 用 需 求 分 析 应 该 围 绕 数 据 (信 息 )， 而 不 是软

7、件 功 能 展 开 。 这 与 传 统 的 需 求 分 析 中 以 软 件 的 功 能 需 求 为 核 心 有 明 显 的 不 同 。 从 这 个意 义 上 ， 如 果 传 统 需 求 分 析 阶 段 是 “做 什 么 ”， 在 数 据 应 用 需 求 分 析 阶 段 就 是 先 要 解决 “有 什 么 ”， 然 后 再 明 确 “做 什 么 ”。大 数 据 需 求 分 析 工 作 方 法需 求 分 析 作 为 软 件 工 程 的 第 一 阶 段 ， 是 整 个 软 件 开 发 项 目 进 行 设 计 和 实 现 的 基 础 ， 决定 了 一 个 项 目 的 成 败 。 但 是 需 求 分 析

8、 不 能 只 看 成 是 一 个 独 立 的 阶 段 ， 对 需 求 的 了 解 贯 穿整 个 项 目 的 始 终 ， 了 解 需 求 的 过 程 是 一 个 逐 步 细 化 ， 逐 步 深 入 的 过 程 ， 整 个 项 目 自 始 而终 都 需 要 与 用 户 交 流 。既 然 大 数 据 应 用 需 求 以 数 据 为 中 心 ， 在 需 求 分 析 阶 段 就 强 调 数 据 和 数 据 结 构 的 分 析一 点 也 不 过 分 。 围 绕 数 据 应 用 的 需 求 分 析 大 体 上 分 为 以 下 几 个 阶 段 ：1)场 景 需 求 分 析 (总 体 设 计 )2)概 念 需

9、求 分 析 (概 念 设 计 )3)细 节 需 求 分 析 (详 细 设 计 )4)界 面 需 求 分 析 (界 面 设 计 )这 些 需 求 分 析 贯 穿 整 个 项 目 的 各 个 环 节 中 ， 与 设 计 是 穿 插 在 一 起 。大 数 据 需 求 分 析 过 程 活 动1)场 景 需 求 分 析这 个 阶 段 体 现 了 系 统 的 总 体 构 思 与 设 计 ， 任 务 是 了 解 系 统 的 组 织 形 式 和 功 能 需 求 概 貌 ，解 决 “是 什 么 ”的 问 题 。 我 认 为 场 景 需 求 分 析 主 要 任 务 是 用 户 应 用 场 景 的 定 义 ， 需

10、要明 确 用 户 将 来 是 用 何 种 方 式 、 在 什 么 条 件 下 、 如 何 用 哪 些 数 据 解 决 什 么 问 题 的 场 景 ， 这当 然 也 会 涉 及 到 硬 件 ， 用 户 环 境 ， 系 统 功 能 等 多 方 面 的 全 局 考 虑 。 如 界 面 是 手 机 APP应 用 还 是 Web 应 用 ， 如 何 进 行 功 能 的 分 层 。 这 些 都 需 要 在 场 景 需 求 分 析 过 程 中 决 定 。场 景 需 求 分 析 工 作 是 大 数 据 应 用 项 目 的 早 期 分 析 ， 所 以 对 功 能 的 描 述 应 该 有 高 度 的抽 象 性 ，

11、 在 理 想 的 情 况 下 ， 一 个 系 统 最 好 由 一 张 纸 内 直 观 图 形 化 描 述 ， 便 于 开 发 人 员 对系 统 目 标 的 整 体 把 握 ， 也 保 持 了 与 用 户 交 流 的 灵 活 性 和 一 致 性 。 所 以 在 项 目 初 期 ，我 不 赞 成 用 功 能 模 块 图 对 功 能 需 求 做 太 多 层 次 的 金 字 塔 式 罗 列 ， 特 别 如 果 是 系 统 的 分 布式 分 层 设 计 ， 详 细 的 功 能 模 块 图 在 项 目 早 期 没 有 什 么 实 际 意 义 ， 反 而 容 易 舍 本 求 末 。 如对 大 数 据 应 用

12、 场 景 中 数 据 范 围 的 分 析 中 ， 可 以 用 笔 者 前 文 所 介 绍 的 商 业 模 式 分 析 方 法 ，从 商 业 模 式 的 角 度 对 于 数 据 范 围 做 明 确 的 界 定 。2)概 念 需 求 分 析概 念 需 求 分 析 的 任 务 是 对 系 统 中 涉 及 的 概 念 、 数 据 范 围 和 内 容 等 进 行 调 查 和 分 析 ， 分析 有 什 么 信 息 、 从 什 么 地 方 可 以 可 靠 获 得 ， 如 何 组 织 和 描 述 数 据 ， 数 据 由 那 些 数 据 项 组成 ， 各 数 据 项 是 什 么 含 义 ， 数 据 的 走 向

13、是 什 么 样 的 ？ 概 念 需 求 分 析 的 目 的 是 建 立 系 统 的概 念 模 型 ， 主 要 是 建 立 描 述 数 据 的 静 态 模 型 和 描 述 系 统 运 行 流 程 的 动 态 模 型 ， 解 决“有 什 么 ”问 题 。当 完 成 模 型 需 求 分 析 后 ， 就 要 进 入 到 概 念 需 求 分 析 。 做 概 念 需 求 分 析 ， 首 先 要 收 集原 始 资 料 ， 然 后 请 用 户 讲 述 手 工 的 工 作 流 程 ， 根 据 用 户 提 供 的 原 始 资 料 和 对 工 作 流 程 的了 解 的 基 础 上 ， 我 们 才 可 以 着 手 进

14、 行 概 念 设 计 。3)细 节 需 求 分 析细 节 需 求 分 析 要 在 进 行 了 概 念 设 计 之 后 进 行 ， 这 个 阶 段 是 分 析 如 何 具 体 实 现 用 户 需求 ,就 是 解 决 “怎 么 做 ”的 问 题 。 这 个 阶 段 要 对 用 户 的 需 求 完 整 而 清 晰 地 确 定 下 来 ， 所以 与 用 户 的 交 流 比 前 两 个 阶 段 多 ， 交 流 的 内 容 应 该 更 加 具 体 。细 节 分 析 的 具 体 任 务 是 要 根 据 概 念 设 计 定 义 的 概 念 模 型 制 定 具 体 的 实 现 细 节 。 对 于 静态 模 型

15、， 要 给 出 详 细 的 数 据 字 典 ， 包 括 了 表 ， 数 据 项 ， 数 据 项 限 制 条 件 等 详 细 信 息 。 对于 动 态 模 型 ， 要 给 出 具 体 的 状 态 定 义 ， 事 件 定 义 ， 状 态 改 变 的 流 程 ， 对 数 据 所 有 操 作 的定 义 等 等 详 细 的 设 计 信 息 。 要 求 根 据 细 节 需 求 分 析 的 成 果 应 该 能 成 为 编 码 和 建 库 的 依 据 。对 于 大 数 据 应 用 ， 可 能 还 要 明 确 的 是 采 用 怎 样 的 大 数 据 技 术 架 构 （ 例 如Hadoop） 和 数 据 挖 掘

16、模 型 ， 随 着 开 源 技 术 的 普 及 ， 目 前 成 熟 的 大 数 据 工 具 和 数 据 挖 掘模 型 选 择 已 经 很 多 ， 实 际 上 很 多 数 据 应 用 的 开 发 工 作 就 是 在 现 有 的 一 些 大 数 据 分 析 工 具的 基 础 上 结 合 应 用 场 景 需 求 来 做 些 配 置 性 的 简 单 编 码 就 可 以 了 ， 没 有 必 要 做 一 些 重 新 发明 轮 子 的 事 情 。4)界 面 需 求 分 析用 户 能 否 用 好 软 件 最 终 决 定 项 目 的 成 败 ， 良 好 的 用 户 使 用 界 面 是 不 可 忽 视 的 。 用

17、 户 界面 的 好 坏 并 不 是 追 求 界 面 的 花 巧 (这 是 程 序 员 经 常 犯 的 毛 病 ),而 是 界 面 的 设 计 是 否 能提 高 用 户 使 用 软 件 的 效 率 ， 这 需 要 了 解 用 户 的 使 用 环 境 ， 操 作 水 平 ， 操 作 习 惯 ， 个 人 喜好 等 多 方 面 。 输 入 输 出 需 求 分 析 要 做 到 界 面 设 计 和 概 念 设 计 的 相 互 独 立 ， 不 能 因 为 界 面的 表 示 影 响 概 念 设 计 的 稳 定 ， 同 时 也 要 保 持 能 适 应 用 户 各 种 不 同 操 作 要 求 的 灵 活 性 。

18、具体 可 以 先 和 用 户 共 同 草 拟 一 些 界 面 设 计 大 纲 ， 在 开 发 过 程 中 邀 请 用 户 试 用 软 件 ， 根 据 反馈 意 见 不 断 改 进 和 修 改 。大 数 据 需 求 表 达 工 具 的 考 虑我 们 分 析 “有 什 么 ”信 息 ， 传 统 的 需 求 分 析 理 论 用 数 据 流 图 和 数 据 字 典 来 表 达“有 什 么 ”信 息 对 大 数 据 应 用 可 能 不 是 特 别 合 适 。 传 统 的 数 据 流 图 核 心 是 面 向 软 件功 能 的 ， 而 在 许 多 大 数 据 数 据 库 应 用 系 统 开 发 初 期 ，

19、在 没 有 清 晰 完 整 的 大 数 据 信 息内 容 构 成 分 析 前 ， 功 能 的 需 求 往 往 难 以 稳 定 。 在 大 数 据 应 用 的 需 求 分 析 初 期 ， 我 不 提倡 使 用 数 据 流 图 ， 因 为 在 大 数 据 应 用 中 ， 数 据 流 图 往 往 不 能 令 人 满 意 地 说 明 信 息 构 成问 题 ， 而 且 随 着 数 据 的 增 加 ， 功 能 流 程 的 变 迁 需 要 经 常 修 改 早 期 的 设 计 ， 这 会 造 成 工 作的 反 复 。 数 据 字 典 可 以 表 达 数 据 的 构 成 ， 但 却 没 有 定 义 数 据 的

20、类 型 。 在 一 个 大 数 据应 用 中 ， 数 据 的 类 型 的 通 过 字 段 类 型 表 达 ， 有 开 发 经 验 的 人 应 该 知 道 ， 清 楚 每 一 个 数 据字 段 的 含 义 和 类 型 在 开 发 数 据 库 应 用 中 有 重 要 的 意 义 ， 试 想 一 下 ， 如 果 一 个 数 据 格式 是 视 频 或 者 图 像 ， 对 数 据 的 功 能 需 求 不 言 而 喻 。 而 传 统 的 需 求 分 析 过 程 不 要 求 确 定数 据 的 具 体 类 型 ， 而 在 开 发 一 个 数 据 应 用 时 ， 需 求 分 析 阶 段 忽 略 了 这 一 步

21、就 会 毫 无 疑 问地 造 成 对 需 求 理 解 的 模 糊 ， 并 使 得 需 求 分 析 变 成 空 洞 无 物 的 纸 上 谈 兵 。 所 以 ， 对 于 数 据应 用 需 求 分 析 的 表 达 ， 最 好 还 是 和 业 务 场 景 的 分 析 结 合 在 一 起 ， 笔 者 推 荐 使 用 质 量管 理 大 师 戴 明 (Deming)博 士 发 明 的 SPIOC 方 法 。SIPOC 模 型 是 一 代 质 量 大 师 戴 明 提 出 来 的 组 织 系 统 模 型 ， 是 一 门 最 有 用 而 且 最 常 用的 ， 用 于 流 程 管 理 和 改 进 的 技 术 。 是

22、 过 程 管 理 和 改 进 的 常 用 技 术 ， 作 为 识 别 核 心 过 程 的首 选 方 法 。为 什 么 笔 者 推 荐 这 个 貌 似 是 跟 IT 界 不 太 搭 边 的 管 理 学 方 面 的 模 型 呢 ？ 从 接 下 来 的示 例 可 以 看 到 ， 在 SPIOC 里 面 ， 我 们 可 以 看 清 楚 两 方 面 的 数 据 需 求 ， 一 方 面 是 业 务 流程 工 作 本 身 要 处 理 的 数 据 ， 另 外 一 方 面 是 更 有 应 用 前 景 的 分 析 业 务 过 程 效 率 中 的 条件 测 量 指 标 （ KPI） 和 成 果 测 量 指 标 （

23、KPO） 数 据 ， 这 两 个 指 标 性 数 据 是 支 持 不 断 优 化业 务 流 程 、 最 终 达 到 精 益 目 的 的 必 要 手 段 ， 数 字 孪 生 理 念 之 父 Michael Grieves 说得 好 ： “信 息 是 被 浪 费 的 物 理 资 源 的 替 代 品 ;在 精 益 的 理 念 世 界 里 ， 我 们 最 终 能 实 现用 最 少 的 资 源 数 生 产 产 品 的 目 标 ”。 没 有 数 据 支 撑 的 精 益 是 无 法 落 地 的 ， 这 样 数 据 应用 的 价 值 就 不 言 而 喻 了 。产 品 光 有 精 益 是 不 够 的 ， 产 品 也 必 须 是 创 新 的 ， 不 仅 要 减 少 资 源 的 浪 费 ， 同 时 也 要 创 造新 的 信 息 和 知 识 ， 使 得 创 新 产 品 成 为 可 能 。 从 这 个 方 面 来 说 ， 今 天 做 业 务 的 过 程 也 是一 个 不 断 积 累 数 据 资 源 的 过 程 ， 这 样 才 能 为 创 新 奠 基 大 数 据 的 基 础 。（本稿完成于 2018 年 9 月 30 日，如需要引用，请注明出处）