1、CC 云 数 据 采 集 中 心 及 大 数 据 计 算 平 台建设方案成都中蓝信息技术有限责任公司联系 QQ： 1280986324， 欢 迎 探 讨 ！目 录1 引言 .51.1 项目背景 .51.2 项目目标 .51.3 建设原则 .61.4 参考规范 .71.5 名词解释 .92 云数据采集中心 .102.1 需求概述 .102.2 总体设计 .132.3 核心技术及功能 .182.3.1 分布式文件存储技术 182.3.2 分布式并行计算技术 272.3.3 分布式数据库技术 312.3.4 负载均衡 342.3.5 数据采集 392.3.6 开放平台 452.4 部署方案 .482
2、.5 实施计划 .50联系 QQ： 1280986324， 欢 迎 探 讨 ！3 大数据计算平台 .523.1 需求概述 .523.2 总体设计 .523.3 应用建设 .573.3.1 收视率统计 .573.3.2 智能推荐 .603.3.3 拍立购 .633.4 部署方案 .693.5 实施计划 .724 性能及成本分析 .734.1 运营商网络性能分析 734.2 服务器网卡性能分析 734.2 服务器内存性能分析 734.3 服务器硬盘性能分析 744.4 服务器 RAID 模式分析 744.5D2B 性能分析 754.4DMQ 平台性能分析 .755 存储空间规划表 .766 机房选
3、型 .77联系 QQ： 1280986324， 欢 迎 探 讨 ！7 安全设计 .788 风险分析 .8151 引言1.1 项目背景根据 C C 智能战略的规划 ： 做强终端、 云平台建设 、 大数据商业模式 ， CC 正 迈向大数据时代， 当前正面向所有智能终端提供优质的服务， 同时通过终端传感 器或数据采集服务能够获取海量的数据，并且数据量会以 TB 级剧增。因此 CC 迫切需要建设一套高性能、高安全性、高可靠性，可扩展性的云数据采集中心， 并搭建一个数据中心 支撑平台， 以 满足当今高速增长的数据存储、 管理、 计算的 需求，同时便于将来拓展和进一步的改造。目前 CC 数据中心是主要基于
4、 CC 黑电、白电、浏览器等产品终端传感器采 集 的 海 量 文 本 、 图 片 数 据 以 及 用 户 数 据 ， 为 CC 后续其他数据分析挖掘项目提供 数据支撑的信息平台。 对应方针 终端内容服务、 云服务支撑与数据挖掘、 个 性化数据价值探索。建立统一有效的云数据采集中心有利于 CC 大数据的管理，符合 CC 新的发 展战略， CC 黑电和白电产品终端传感器采集的数据有用户行为的文本数据 （ log） 、台标等图片数据以及自建的影视知识库的结构化数据 、 电商平台的海量镜像数据 。 当 C C 的用户量和采集的数据量与日俱增的时候， 数据中心必须能通过添加更多 服务节点来扩展性能和负载
5、能力， 保证高可扩展性和高可用性从而满足 CC 业务 发展的需要。1.2 项目目标 搭 建 分 布 式 存 储 平 台 （ 能 够 存 储 海 量 非 结 构 化 数 据 和 结 构 化 数 据 ） 、 分 布 式 并 行 计 算 平 台 等 等 ， 满 足 海 量 数 据 的 采 集 、 存 储 、 计 算 的 需 要 ， 平6台必须具备高可用性，高扩展性，高可靠性要求。 为 C C 后面的产 品 （收视率统计 ， 智能推荐系统 ,拍立购， 开放平台等等） 的应用和实施打下坚实的基础，为集团 C C 的大数据提供运营支撑。 云中心初期建立至少保证可以正常运营 12 年， 硬件选型， 软件开始
6、要 考虑到今后大规模扩容的要求。 技术平台要有能力支持数据量最高 1000W 终端数量的数据存储 、 数据计 算、信息推荐等的能力。1.3 建设原则基于本项目的建设要求，本项目将遵循以下建设原则： 前瞻性和高标准 整个项目要按照企业对大数据应用的需要的高要求和高标准建设 ， 参考 行 业 标 杆 应 用 ， 建 立 满 足 需 求 ， 面 向 未 来 的 目 标 ， 整 个 项 目 具 有 一 定 前 瞻性。 经济性和实用性 整个项目以现有需求为基础 ， 充分考虑未来发展的需要来确定系统的架 构 ， 既 要 降 低 系 统 的 初 期 投 入 ， 又 能 满 足 服 务 对 象 的 需 求 ，
7、 同 时 系 统 设 计 应 充 分 考 虑 对 已 有 投 资 的 保 护 ， 对 已 建 立 的 数 据 中 心 、 基 础 平 台 、 应 用软件应提供完备的整合方案。 先进性和成熟性 为 了 确 保 项 目 具 有 较 长 的 生 命 周 期 ， 应 充 分 考 虑 到 管 理 创 新 、 技 术 发 展 需 要 ， 按 照 先 进 的 建 设 理 念 ， 选 择 先 进 的 技 术 架 构 和 成 熟 技 术 ， 满 足 业7务需求。8 高性能和安全性 规 范 地 进 行 系 统 建 设 和 开 发 ， 提 供 合 理 且 经 济 有 效 的 应 急 方 案 ， 确 保 系 统 的
8、稳 定 ， 向 各 类 服 务 对 象 提 供 可 靠 的 服 务 。 具 有 安 全 性 ， 在 系 统 遭 到 攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。1.4 参考规范 GB 9361-88 计算站场地安全要求 GB 50173-93 电子计算机机房设计规范 GB 2887-89 计算站场地技术条件 GB 50174-2008 电子信息系统机房设计规范 GB 50462-2008 电子信息系统机房施工及验收规范 GB 50311-2007 综合布线工程设计规范 GB 50312-2007 综合布线系统工程验收规范 GB 50395-2007 视频安防监控系统设计规范 GB 5
9、0263-2007 气体灭火系统施工及验收规范 GB 50394-2007 入侵报警系统工程设计规范 GB/T 20269-2006 信息安全技术信息系统安全管理要求 GB/T 20984-2007 信息安全技术信息安全风险评估规范 GB/T 22239-2008 信息安全技术信息系统安全等级保护基本要求 GB/T 22240-2008 信息安全技术信息系统安全等级保护定级指南 GA/T 388-2002B 计算机信息系统安全等级保护管理要求 GB/T 8567 -1988 计算机软件产品开发文件编制指 GB/T 11457-1995 软件工程术语8 GB/T 11457-2006 信息技术
10、软件工程术语 GB/T 16260.1-2006 软件工程 产品质量 第 1 部 分 :质 量 模 型 GB/T 16260.2-2006 软件工程 产品质量 第 2 部 分 :外 部 度 量 GB/T 16260.3-2006 软件工程 产品质量 第 3 部 分 :内 部 度 量 GB/T 16260.4-2006 软件工程 产品质量 第 4 部 分 :使 用 质 量 的 度 量 GB/T 14394-2008 计算机软件可靠性和可维护性管理 GB/T 17544-1998 信息技术 软件包 质量要求和测试 GB/T 18221-2000 信息技术 程序设计语言、环境与系统软件借口 独立 于
11、语言的数据类型 GB/T 18491.1-2001 信息技术 软件测量 功能规模测量 第 1 部 分 ： 概 念 定义 GB/T 18492-2001 信息技术 系统及软件完整性级别 GB/Z 18493-2001 信息技术 软件生存周期过程指南 GB/T 20157-2006 信息技术 软件维护 GB/T 20272-2006 信息安全技术 操作系统安全技术要求 GB/T 20008-2005 信息安全技术 操作系统安全评估准则 GB/T 20009-2005 信息安全技术 数据库管理系统安全评估准则 GB/T 20918-2007 信息技术 软件生存周期过程 风险管理 GB/T 8566-
12、2007 信息技术 软件生存周期过程 SJ/T 10367-1993 计算机过程控制软件开发规程 SJ/T 11234-2001 软件过程能力评估模型 SDO (Service Data Object) for Java Specification V2.19 SCA (Service Component Architecture)Java EE Integration Specification V1.00 Java 2 Platform, Enterprise Edition Capability Maturity Model Integration (CMMISM), Version 1
13、.1 Extensible Markup Language (XML) 1.0 (Fifth Edition) Web Services Business Process Execution Language v2.01.5 名词解释 S2DFS： 简单存储分布式文件系统 （ Simple Storage Distributed File System） D2B:分 布 式 数 据 库 （ Distributed Database） JSS： 作 业 调 度 服 务 （ Job Scheduler Service） DCS：数据计算服务（Data Computer Service） MPS：消
14、息处理服务（Message Process Service） SDS： 流 数 据 处 理 服 务 （ Stream Data Service） DMQ：分布式消息队列（Distributed M essage Queue） JGS： 作 业 生 成 服 务 （ Job Generation Service） ACS： 自 动 清 理 服 务 进 程 （ Automatic Cleaning Services） HTTP：超文本传输协定（HyperText Transfer Protocol） SMB： 服 务 器 信 息 块 协 议 （ Server Message Block）102 云数
15、据采集中心2.1 需求概述根据 C C 的 阶 段 规 划 ， 第 一 期 云 数 据 采 集 中 心 的 建 立 至 少 满 足 1 至 2 年内的 数据存储和计算规模，需要满足 200 万台各种智能终端的数据存储和计算规模。今后整个云数据采集中心的技术平台和架构需要轻松扩展到支持 1000 万台规模 的各种智能终端的数据存储和计算规模。11以下的数据为预估数据（基于小范围的实验数据为依据） ：数据类别 文件(记录)大小 1 文件(记录)数量 1 文件(记录)大小 2 文件(记录)数量 2台标数据（原始数据，1 天周期）约 16KB/台 /天(由 200Kb/台 /天 而 得 )约 36 个
16、文件/台/天 约 32GB/200 万台/天 约 7200 万个/200 万台/天行为数据（原始数据，1 天周期）约 60KB/台 /天 (记 录 )(由 400Kb/台 /天 而 得 ,加 上 了 10KB 的索引记录) 约 50KB/台 /天 (文 件 )(由 400Kb/台 /天 而 得 )（平均估值）约 100 条 记 录 /台 /天 (记 录 )约 100 个 文 件 /台 /天 (文 件 )（平均估值）约 120GB/200 万 台 /天 (记 录 )约 100GB/200 万 台 /天 (文 件 ）（平均估值）约 2 亿 条 /200 万 台 /天 (记 录 )约 2 亿 个 /
17、200 万 台 /天 (文 件 ）（平均估值）行为数据（原始数据，永久保存，压缩处理）约 60KB/台 /天 (记 录 )(由 400Kb/台 /天 而 得 ,加 上 了 10KB 的索引记录) 约 50KB/台 /天 (文 件 )(由 400Kb/台 /天 而 得 )（平均估值）约 100 条记录/台/天约 100 个文件/台/天（平均估值）约 45TB/200 万台/1 年 (文 件 ， 加上元数据描述文件）（平均估值） 注：记录的大小约为 10GB约 35 万 条 /200 万台/1 年（记录）约 35 万 个 /200 万台/1 年（文件）（平均估值） 注 ： 128MB/1 个文件行
18、为分析/收视率统计/推荐 /电商索引等记 录约 10KB/1 条 (记 录 )（平均估值）约 10TB/1 年（记录）（平均估值）约 10-15 亿条记录/1 年（记录）（平均估值）12至少 6 大电商的镜像数据约 30KB/1 个 (文 件 )（平均估值）约 10 亿个/1 年 (文 件 )（平均估值）约 30TB/1 年（文件）（平均估值）13以 1 年为计算周期（ 数据整合、压缩、清洗后） ，初步预估： 1、 数据记录：约为 10-15 亿条；2、 文件个数：约为 10-12 亿个；3、 记录总大小： 约为 10TB； （双份副本： 需要约 20TB 存储空间 ）4、 文件总大小： 约为
19、 75TB； （双份副本： 需要约 150TB 存储空间 ）5、 总容量大小：约为 85TB； （双份副本：需要约 170TB 存储空间）为了数据的高可靠性，为每份（文件/记录）建立镜像副本，所以总容量初 步可以规划约为 170TB。2.2 总体设计整个云数据采集中心分为四部分：硬件资源层、软件平台层、软件应用层、 智能终端层。硬件资源层主要指实体硬件 设备， 包括用来存储 数据的光纤阵列柜和存储服 务器， 用来作统计、 分析以及搜索用的 计算服务器， 用来部署分布式消息 （ DMQ）/WEB/APP 软件的 WEB 及消息服务器，用来部署用 PostgreSQL 关系数据库软 件的应用数据库
20、服务器， 用来部署作业调度服务进程 （ JSS） 的作业调度服务器。 作为数据通信用的全千兆三层交换机等等 。 其中光纤阵列柜主要用来存储统计分 析后的粗颗粒度数据。 存储服务器用来部署分布式文件系统和分布式数据库， 同 时 存储非结构化和结构化 （台标图片， 电商图片等等） 和结构化数据 （行为数据， 索引数据， log 数据， 清理后的细颗粒度数据等等） 。 计算服务器主要用来完成数 据 的 清 理 、 统 计 、 搜 索 等 计 算 任 务 。 为 了 节 省 成 本 和 减 少 通 信 代 价 ， 建 议 存 储 服14务器和计算服务器合二为一， 所以该服务器 同时具有计算和存储数据的
21、功能 ， 前 期 也 可 以 考 虑 把 作 业 调 度 服 务 进 程 （ JSS） 进 程 部 署 在 存 储 /计 算 服 务 器 上 。 由 于 云数据采集中心 需要面对多种宽带用户（电 信、移动、联通） ，所以，数 据中心 的对外的网络需要直连上电信、 移动、 联通三家公司的网络， 保证 以上三家公司 间的通信性能高速和可靠。软件平台层是 云数据采集中心 的核心支撑层， 也是我们这次方案 设计和实施 的 主 体 部 分 ， 在 核 心 技 术 章 节 会 对 “分 布 式 文 件 系 统 （ S2DFS） ”、 “分 布 式 数 据 库 （ D2B） ”、 “分布式消息服 务 （ D
22、MQ） ”“作业调度服 务 进 程 （ JSS） 、 数 据 计 算 服 务 进 程 （ DCS） ”主 要 部 分 加 以 详 细 的 描 述 。 软 件 平 台 层 的 所 有 服 务 器都 统一部署的 64 位操作系统 CentOS 6.5（也可以选择 RHEL 6.5 x64） ；其核心软 件或者进程有：分布式文件系统（ S2DFS） 、分布式数据库（ D2B） 、作业调度服 务进程（ JSS） 、数据 计算服 务 进程（ DCS） 、作 业生成 服 务进程（ JGS） 、消 息处 理 服 务 进程 （ MPS） 、 流数 据 处 理进 程 （ SDS） 等 等。 WEB 及 应 用
23、服 务 器 软 件 Apache&Tomcat，消息队列软件 分布式消息（ DMQ） 。还要实现整个 云数据采集 中心的资源管理及监控管理系统。软件应用层是云数据采集中心的功能实现及 UI 表达层，功能实现需要基于 软件平台层的支撑 ， 后期设计和实施的主体 。 该层的主要功能 应用有： 数据采集 应 用 、 收 视 率 统 计 应 用 、 智 能 推 荐 应 用 、 拍 立 购 应 用 ， 云 数 据 采 集 中 心 的 资 源 监 控 及 调 度 ， 通 过 提 供 标 准 API， 在 CC 的云平台上集成第三方 APP 应 用 ， 使 我 们 的 云 平 台 成 为 一 个 开 放 的
24、 平 台 ， 围 绕 CC 的 各 种 智 能 终 端 或 者 第 三 方 的 终 端 ， 都 纳 入 到 平 台 上 来 ， 建 立 一 个 完 备 而 丰 富 的 运 营 生 态 圈 ， 使 CC 在互联网时代的竞争中占得先机。15智能终端层主要包括 CC 黑 电 、 白 电 、 浏 览 器 等 产 品 设 备 ， 这 些 终 端 设 备 通过 公 共 数 据 网 （ 电 信 、 联 通 、 移 动 ） 和 HTTP 协 议 ， 把 终 端 传 感 器 采 集 的 海 量 文 本、 图片数据以及用户 行为数据存储在 云数据采集中心 里， 以供后期分析计算用 。 第一期是单向交互， 主要是终
25、端提供数据， 云数据采集中心 负责计算， 并作推荐。 第二期会引入终端与云数据采集中心的实时双向交互功能。收 视 率 统 计 应 用 智能推荐应用 拍 立 购 应 用 云 中 心 监 控 第 三 方 应 用API存 储 设 备 网络设备 服 务 器 设 备JSS DCS JGS MPS SDS开放平台S2DFS D2BPostgreSQLNginxApacheTomcat DMQCentOS 6.5 x6416云数据采集中心整体架构图智 能 终 端智 能 终 端智能终端骨 干 网资源及监控管理资源及权限管理WEB及 消 息 服 务 器 存储 /计算服务器存储 /计算服务器WEB及 消 息 服
26、务 器存 储 /计 算 服 务 器WEB及 消 息 服 务 器 分布式数据库服务器数据公共网联 通 /电 信 /移 动防火墙分布式数据库服务器分布式数据库服务器负载均衡服务器 负载均衡服务器作业调度服 务 器 (主 )作业调度服务器 (备 )云数据采集中心网络结构图17182.3 核 心 技 术 及 功 能2.3.1 分布式文件存储技术（ 1） 传统存储技术面临的问题： 构建成本高：大容量及高网络带宽的高端存储系统架构昂贵。 文件系统功能和性能差强人意 ： 难以实现全局命名空间的文件共享、 文件系统难以扩展，容易形成瓶颈。 扩展性困难：技术存在瓶颈（ Scale-up 架构决定的 ） 、扩展成
27、 本无法 控制。 可 用 性 问 题 ： 潜 在 的 单 点 故 障 ,数 据 恢 复 困 难 ， 代 价 高 。 应用目标差异：主要面临运营商、金融行业的 OLTP 应用、很少针 对海量的流数据，或者非结构化数据进行设计和优化。 异 构 设 备 繁 杂 ： 不 同 时 期 、 不 同 公 司 、 不 同 操 作 系 统 的 异 构 设 备 纷 繁复杂，无法整合，资源利用率极低。分 布 式 文 件 系 统 主 要 为 解 决 以 上 问 题 而 出 现 的 一 种 新 型 大 规 模 数 据 存 储 技 术架构。 主要为非结构化数据 （视频/文件/文档/ 图像 /音频等非结构化 数据） 提 供
28、海量的存储平台，以集群的方式提供线性横向扩展能力。分布式文件系统是一种构建于通用 x86 部件之上的高可用、 高可靠、 高可扩 展的新型分布式文件系统。 应用分布式文件系统， 用户可以采用廉价可靠的通用 服 务 器 、 SATA/SAS 硬 盘 以 及 以 太 网 络 来 构 建 媲 美 企 业 级 存 储 产 品 的 存 储 系 统 。（ 2） 分布式文件系统应对的数据特性和访问特性：19 数据量巨大，数百 TB 或 P B 级，增长迅速；20 类型多样化，包括图像、文本、语音、视频等文件数据； 按时间有序生成，数据均带有时间标志 ； 前 端 数 据 写 入 速 度 很 高 ， 每 秒 钟
29、写 入 数 据 可 达 几 万 甚 至 几 十 万 条 记 录或者上 GB 量数据 ； 更 新 操 作 极 少 ： 追 加 方 式 写 入 ， 一 旦 写 入 ， 几 乎 没 有 数 据 修 改 ， 查 询 涉 及 大 量 的 磁 盘 读 操 作 ， 查 询 处 理 产 生 大 量 的 临 时 结 果 ， 不 同 类 型的数据存在联合分析查询；分 布 式 文 件 系 统 的 基 本 原 理 是 采 用 集 群 方 式 来 整 合 物 理 上 独 立 的 多 个 存 储 资源， 以软件方式提供单一的名字空间； 采用多副本的方式保证数据的高可用性， 任意单一节点失效均不会导致数据丢失和数据服务的正
30、常运行； 同时， 分布式文 件系统通过良好设计的系统结构和数据分布策略， 可保证系统性能的高可扩展性， 并支持存储容量/性能的在线扩展。相比较于 DAS（直连存储） 、 SAN（存储区域网络）和 NAS（网络存储） ， 应用分布式文件系统构建的网络存储系统更像是一个 NAS， 提供类似于传统 NAS 的文件级访问接口（ SAN 和 D AS 都是块设备级别的访问接口） 。（ 3） 分布式文件系统与传统 N AS/SAN 设备的比较：比较项 高端 NAS FC-SAN 分布式文件系统性能 一 般 双 端 口 ， 性 能 受 机 头影 响 ， 难 以 扩 展 ， 出 口 带 宽是瓶颈一 般 双 端
31、 口 ， 性 能 受机头影响， 难以扩展， IOPS 较好性 能 随 节 点 数 的 增 加 成 线性增长扩展能力 性 能 及 容 量 无 法 扩 展 ， 或者有限扩展能 较 好 扩 展 ， 但 成 本高昂性 能 及 容 量 按 需 扩 展 ， 动态均衡可用性 RAID 方 式 保 护 ， 双 机 保护， 停机 RAID Rebuid， 耗 时RAID 方式保护 ， 双机保 护 ， 停 机 RAID Rebuid， 耗 时基 于 灵 活 的 多 副 本 机 制 ，自动检测， 自动故障恢复， 无需停机21数据管理 企业级功能需要单独购买 企 业 级 功 能 需 要 单 独购 买 （ 还 需 要
32、单 独 的内 嵌 多 种 企 业 级 应 用 ： 快照、镜像、回收站22文件系统， 100 多万一套）成本 专 有 的 硬 件 平 台 ， 软 件 拥有成本高，扩展成本高专 有 的 硬 件 平 台 ， 软件 拥 有 成 本 高 ， 扩 展 成本高开 发 通 用 的 硬 件 平 台 ， 一体 化 的 软 件 ， 成 本 低 ， 扩 展成本低可维护性 专 门 的 技 术 支 持 服 务 ， 需要培训结 构 异 常 复 杂 ， 需 要大 量 培 训 ， 厂 商 服 务 昂贵内 嵌 多 种 自 动 化 的 故 障 检测和恢复功能， 国内开发， 技术支持快速用户使用分布式文件系统如同使用本地文件系统。所
33、不同的是，传统 NAS 通常以单一节点的方式实现， 容量和性能的扩展能力有限， 易于成为性能瓶颈和 单一故障点。 而分布式文件系统则有多个节点集合地提供服务， 由于其结构特征， 分布式文件系统的性能和容量均可在线线性扩展， 并且系统内不存在单一故障点。 对比参看下面两幅示意图：传统存储架构图23分布式文件系统架构图 分布式文件系统的设计应用特别 适合海量非结构化数据存储， 大量客户端并发的 I /O 密集型应用。目前，分布式文件系统已经被应用于政府、医疗影像、 勘查数据计算、视频服务以及动画制作等领域。这些领域的数据访问特征均为： 数 据 量 巨 大 ， I/O 吞 吐 率 高 ， 数 据 增
34、 长 迅 速 以 及 数 据 可 用 性 要 求 高 。 经 过 长 时 间 的实际生产环境使用，分布式文件系统已被证明是该类型应用的有效解决方案。24设备 卷 设备 卷 设 备 卷 设备 卷 设备 卷分 布 式 文 件 系 统 逻 辑 卷分 布 式 文 件 系 统 客 户 端NFS/Samba卷管 理I/O调度分 布 式 文 件 系 统 客 户 端卷 管 理I/O调度分 布 式 文 件 系 统 客 户 端分 布 式 文 件 系 统 网 关分布式文件系统架构图 分布式文件系统的服务器端程序运行于 Linux x64 系统之上， 支持多种 Linux64 位发行版，包括 Redhat、 Cent
35、OS 等。分布式文件系统客户端则支持 Linux 和 Windows， 同 时 分 布 式 文 件 系 统 还 可 以 通 过 第 三 方 软 件 输 出 CIFS 和 NFS 接口， 可以兼容大多数应用。（ 4） 分布式文件系统的核心技术及特征： 扩展性和高性能：分布式文件系统利用双重特性来提供几 TB 至数 PB 的高扩展存储解决方案。 Scale-Out 架构允许通过简单地增加资源 来提高存储容量和性能，磁盘、计算和 I/O 资源都可以独立增加， 支持 10GbE 和 InfiniBand 等高速网络互联。分布式文件系统弹性哈 希 （ Elastic Hash） 解 除 了 分 布 式
36、文 件 系 统 对 元 数 据 服 务 器 的 需 求 ， 消除了单点故障和性能瓶颈，真正实现了并行化数据访问。分布式文件系统Client端分布式文件系统Server端25 高 可 用 性 ： 分 布 式 文 件 系 统 可 以 对 文 件 进 行 自 动 复 制 ， 如 镜 像 或 多 次 复 制 ， 从 而 确 保 数 据 总 是 可 以 访 问 ， 甚 至 是 在 硬 件 故 障 的 情 况 下 也 能 正 常 访 问 。 自 我 修 复 功 能 能 够 把 数 据 恢 复 到 正 确 的 状 态 ， 而 且 修 复 是 以 增 量 的 方 式 在 后 台 执 行 ， 几 乎 不 会 产
37、 生 性 能 负 载 。 分 布 式 文 件 系 统 没 有 设 计 自 己 的 私 有 数 据 文 件 格 式 ， 而 是 采 用 操 作 系 统 中 主流标准的磁盘文件系统（如 XFS/EXT4/ZFS） 来 存 储 文 件 ， 因 此 数据可以使用各种标准工具进行复制和访问。 全 局 统 一 命 名 空 间 ： 全 局 统 一 命 名 空 间 将 磁 盘 和 内 存 资 源 聚 集 成 一 个 单 一 的 虚 拟 存 储 池 ， 对 上 层 用 户 和 应 用 屏 蔽 了 底 层 的 物 理 硬 件 。 存 储 资 源 可 以 根 据 需 要 在 虚 拟 存 储 池 中 进 行 弹 性
38、扩 展 ， 比 如 扩 容 或 收 缩 。 当 存 储 虚 拟 机 映 像 时 ， 存 储 的 虚 拟 映 像 文 件 没 有 数 量 限 制 ， 成千虚拟机均通过单一挂载点进行数据共享。虚拟机 I/O 可在命名 空 间 内 的 所 有 服 务 器 上 自 动 进 行 负 载 均 衡 ， 消 除 了 SAN 环境中经常 发生的访问热点和性能瓶颈问题。 弹 性 哈 希 算 法 ： 分 布 式 文 件 系 统 采 用 弹 性 哈 希 算 法 在 存 储 池 中 定 位 数 据 ， 而 不 是 采 用 集 中 式 或 分 布 式 元 数 据 服 务 器 索 引 。 在 其 他 的 Scale-Out
39、 存储系统中，元数据服务器通常会导致 I/O 性能瓶颈和单 点故障问题。分布式文件系统中，所有在 Scale-Out 存储配置中的存 储 系 统 都 可 以 智 能 地 定 位 任 意 数 据 分 片 ， 不 需 要 查 看 索 引 或 者 向 其 他 服 务 器 查 询 。 这 种 设 计 机 制 完 全 并 行 化 了 数 据 访 问 ， 实 现 了 真 正 的线性性能扩展。 弹 性 卷 管 理 ： 数 据 储 存 在 逻 辑 卷 中 ， 逻 辑 卷 可 以 从 虚 拟 化 的 物 理 存26储 池 进 行 独 立 逻 辑 划 分 而 得 到 。 存 储 服 务 器 可 以 在 线 进 行
40、 增 加 和 移除 ， 不 会 导 致 应 用 中 断 。 逻 辑 卷 可 以 在 所 有 配 置 服 务 器 中 增 长 和 缩 减 ， 可 以 在 不 同 服 务 器 迁 移 进 行 容 量 均 衡 ， 或 者 增 加 和 移 除 系 统 ， 这 些 操 作 都 可 在 线 进 行 。 文 件 系 统 配 置 更 改 也 可 以 实 时 在 线 进 行 并 应用，从而可以适应工作负载条件变化或在线性能调优。 完全软件实现（ Software Only） ：分布式文件系统认为存储是软件问 题 ， 不 能 够 把 用 户 局 限 于 使 用 特 定 的 供 应 商 或 硬 件 配 置 来 解
41、决 。 分 布 式 文 件 系 统 采 用 开 放 式 设 计 ， 广 泛 支 持 工 业 标 准 的 存 储 、 网 络 和 计 算 机 设 备 ， 而 非 与 定 制 化 的 专 用 硬 件 设 备 捆 绑 。 对 于 商 业 客 户 ， 分 布 式 文 件 系 统 可 以 以 虚 拟 装 置 的 形 式 交 付 ， 也 可 以 与 虚 拟 机 容 器 打 包 ， 或 者 是 公 有 云 中 部 署 的 映 像 。 开 源 社 区 中 ， 分 布 式 文 件 系 统 被 大 量 部 署 在 基 于 廉 价 闲 置 硬 件 的 各 种 操 作 系 统 上 ， 构 成 集 中 统 一 的 虚
42、拟 存 储 资 源 池 。 简 而 言 之 ， 分 布 式 文 件 系 统 是 开 放 的 全 软 件 实 现，完全独立于硬件和操作系统。 完 整 的 存 储 操 作 系 统 栈 （ Complete Storage Operating System Stack： 分 布 式 文 件 系 统 不 仅 提 供 了 一 个 分 布 式 文 件 系 统 ， 而 且 还 提 供 了 许 多 其 他 重 要 的 分 布 式 功 能 ， 比 如 分 布 式 内 存 管 理 、 I/O 调 度 、 软 RAID 和 自 我 修 复 等 。 分 布 式 文 件 系 统 汲 取 了 微 内 核 架 构 的 经
43、验 教 训 ， 借 鉴了 GNU/Hurd 操作系统的设计思想，在用户空间实现了完整的存 储操作系统栈。 用户空间实现 （ User Space） ： 与传统的文件系统不同 ， 分布式文件系 统 在 用 户 空 间 实 现 ， 这 使 得 其 安 装 和 升 级 特 别 简 便 。 另 外 ， 这 也 极27大 降 低 了 普 通 用 户 基 于 源 码 修 改 分 布 式 文 件 系 统 的 门 槛 ， 仅 仅 需 要通用的 C 程序设计技能，而不需要特别的内核编程经验。 模块化堆栈式架构 （ Modular Stackable Architecture） ： 分布式文件系统 采 用 模 块
44、 化 、 堆 栈 式 的 架 构 ， 可 通 过 灵 活 的 配 置 支 持 高 度 定 制 化 的 应 用 环 境 ， 比 如 大 文 件 存 储 、 海 量 小 文 件 存 储 、 分 布 式 文 件 系 统 、 多 传 输 协 议 应 用 等 。 每 个 功 能 以 模 块 形 式 实 现 ， 然 后 以 积 木 方 式 进 行 简 单 的 组 合 ， 即 可 实 现 复 杂 的 功 能 。 比 如 ， Replicate 模 块 可 实 现 RAID1， Stripe 模块可实现 RAID0， 通 过 两 者 的 组 合 可 实 现 RAID10 和 R AID01， 同 时 获 得
45、高 性 能 和 高 可 靠 性 。 原始数据格式存储 （ Data Stored in Native Formats） ： 分布式文件系统 以 原 始 数 据 格 式 （ 如 EXT3、 EXT4、 XFS、 ZFS） 储 存 数 据 ， 并 实 现 多 种 数 据 自 动 修 复 机 制 。 因 此 ， 系 统 极 具 弹 性 ， 即 使 离 线 情 形 下 文 件 也 可 以 通 过 其 他 标 准 工 具 进 行 访 问 。 如 果 用 户 需 要 从 分 布 式 文 件 系统中迁移数据，不需要作任何修改仍然可以完全使用这些数据。 无元数据服务设计（ No Metadata with t
46、he Elastic Hash Algorithm） ：对 Scale-Out 存储系统而言，最大的挑战之一就是记录数据逻辑与物理 位置的映像关系，即数据元数据，可能还包括诸如属性和访问权限 等信息。传统分布式存储系统使用集中式或分布式元数据服务来维 护元数据，集中式元数据服务会导致单点故障和性能瓶颈问题，而 分布式元数据服务存在性能负载和元数据同步一致性问题。特别是 对于海量小文件的应用，元数据问题是个非常大的挑战。分布式文 件系统独特地采用无元数据服务的设计，取而代之使用算法来定位28文件，元数据和数据没有分离而是一起存储。集群中的所有存储系统服务器都可以智能地对文件数据分片进行定位，仅仅
47、根据文件名 和路径并运用算法即可，而不需要查询索引或者其他服务器。这使 得数据访问完全并行化，从而实现真正的线性性能扩展。无元数据 服务器极大提高了分布式文件系统的性能、可靠性和稳定性。 基于标准协议： 分布式文件系统 存储服务支持 NFS, CIFS, HTTP, FTP 以及分布式文件系统原生协议，完全与 POSIX 标准兼容。（ 5） 分布式文件系统技术及性能指标： 支持设备数量：最大百万台以上 支持存储容量：最大 1024PB 以上 客户端的数量：最大支持上亿并发 网络支持： 以太网： 1Gbps、 10Gbps/INFINIBAND： 10Gbps、 40Gbps 文件副本数量：任意
48、(缺省 1 份) 协议： NFS/CIFS/HTTP/FTP/WEB DAV， 及 原 生 协 议 ,兼 容 POSIX 标准 支持文件数量：最大上亿个文件 最 大 单 个 文 件 ： 16TB（ 6） S2DFS 与 H DFS 的比较对比项 HDFS（ GFS） S2DFS架构类型 带元数据库中心架构(瓶 颈 及 故 障 易 发 生 点 )全分布式去中心架构存在方式 分布式文件系统软件，基于 x86 平台使用方式 CLI/REST API NATIVE CLIENT/CIFS/NFS 标准协议29（应用代码与平台无关性， 便于移植和维护）系统可用性 低 高数据可用性 复制 类 RAID数据
49、定位方式 INode Hash同步方式 异步 同步负载均衡 自动 自动支持网络 千兆以太网 千 兆 /万 兆 以 太 网 ， IB 网网 络 写 ： 读 （ 万 兆 /单 流 ） 约 100MB/s： 160MB/s 约 800MB/s： 1000MB/s读（1*20GB）（万兆） 约 125s 约 25s写（1*20GB）（万兆） 约 200s 约 20s读 /写 （ 千 兆 ） 差距不大2.3.2 分布式并行计算技术（ 1） 概述 并行计算技术真正将传统运算转化为并行运算， 从而更加充分的利用广泛部署的普通计算资源实现大规模的运算和应用的目的， 在此基础上为第三方开发者 提供通用平台，为客户提供并行服务。这里主要为门户网站提供作业调度平台， 实现日志分析，性能优化，全文检索，视频处理，用为分析等等的支撑平台。用户通过统一计算平台把任务分派给系统内的多个节点， 调度节点资源执行 任务， 发挥多核并行处理优势， 提升运算效率， 充分运用网络内的计算资源达到 解决大规模计算问题的目的。
