1、打破瓶颈的 InfiniBand华中科技大学外存储系统国家专业实验室 徐君明 黄浩首先要明确的是，InfiniBand 是致力于服务器端而不是 PC 端的高性能 I/O 技术。其目标是：使处理器级的带宽，从处理器到系统 I/O、经由 Fabric 穿越整个数据中心（ Data Center）成为可能。应该说，I/O 技术在企业服务器中无论是速率上还是吞吐量上都取得了稳步提高。但是，毫无疑问，现有的基于 PCI 架构（主要是 PCI、PCI-X）的 I/O 技术仍然是系统处理器、系统主存以及 I/O 外设之间的主要瓶颈。这种 I/O 架构已经不能满足互联网、电子商务、存储网络等大量的 I/O 需
2、求。随着对称多处理器（ SMP） 、集群计算、网格以及远程备份的广泛应用，这种基于 PCI 架构的 I/O 技术的缺陷和局限性日益突出。因此，迫切需要一项面向高端的 I/O 解决方案，这就是 InfiniBand。InfiniBand 体系结构简单地讲，InfiniBand 技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。不同于 PCI， InfiniBand 允许多个 I/O 外设无延迟、无拥塞地同时向处理器发出数据请求。InfiniBa
3、nd 技术通过连接 HCAs（Host Channel Adapters ） 、TCAs（Target Channel Adapters） 、交换机以及路由器来工作，其体系结构如图 1 所示。InfiniBand 受到了业界的普遍关注和支持，其中包括 Dell、HP、IBM、Intel、Microsoft、 Sun 等 220 多家公司以及由这些公司组成的 IBTA（InfiniBand Trade Association） ，其体系结构在很大程度上维护了上述公司的投资利益。要充分发掘计算机系统的整体 I/O 性能（包括“箱内”I/O 带宽以及网络吞吐量等） ，现有的基于 PCI 的共享总线架
4、构已经很不适宜，这就为与 InfiniBand 相匹配的局部 I/O 互联技术创造了发展空间。目前，集群计算（Cluster） 、存储区域网（SAN） 、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高 QoS 以及高 RAS(Reliability、Availability and Serviceability)等有迫切需求，InfiniBand 技术为实现这些高端需求提供了可靠的保障。Shared-Bus VS. Fabric基于共享总线（Shared-Bus）的 PCI 架构的诸多局限性决定了这项 I/O 技术已经不能适合日益庞大的计算机系统的 I/O 需求。这些局限性主要
5、包括速率极限、可扩展性、单点故障等几个主要方面。而基于交换架构的 InfiniBand 技术在避开 PCI 架构上述问题的同时，提供了其他方面的更高性能。基于 Fabric 与基于共享总线 I/O 技术之间的简要对比如表 1 所示。1Shared-Bus 架构的局限性PCI-X133 的带宽只有 1.066GB/s，虽然 PCI-SIG 最新公布的 PCI-X266、PCI-X533 的带宽峰值可分别达到 2.128GB/s 和 4.264GB/s，但这没有从根本上缓解服务器端的 I/O 带宽瓶颈。同样，PCI 架构(主要是 PCI-X)的可扩展性也非常有限，它主要通过两种方式来实现：要么增加
6、同层 PCI 总线（PCI 本身就是一种层次结构 I/O 技术） ，要么增加 PCI-to-PCI 桥。前者主要通过在主板上集成额外的 Host-to-PCI 总线芯片以及增加 PCI 连接器来实现，而后者主要通过在主板上增加 PCI-to-PCI 桥接芯片来实现。无论采用什么方式扩展 PCI 架构的I/O 总线，其代价都是比较昂贵的。从本专题第一篇文章的图 1 也可以看出，在基于共享总线的 I/O 结构中，所有通信共享单一总线带宽（如图中的 PCI 总线 1） ，由此就造成外设越多，可用带宽就越少，从而带来更严重的系统 I/O 瓶颈。不仅如此，在基于共享并行 I/O 总线上，大量的引脚数目也
7、带来了一定的电气特性和机械特性等问题，使得 PCB 空间、信号频率以及信号可传输距离都受到很大程度的制约。2Switched Fabric 体系结构InfiniBand 所采用的交换结构（Switched Fabric）是一种面向系统故障容忍性和可扩展性的基于交换的点到点互联结构。这种结构如图 2 所示。在图 2 中，通过向 InfiniBand 系统添加交换机可以很容易地实现 I/O 系统的扩展，进而允许更多的终端设备接入到 I/O 系统。与基于共享总线的 I/O 系统相反，这种 Switched Fabric 系统的总体带宽会随着所接入交换设备数目的增加而不断提高。另外，正如图 2 所指出
8、的那样，通过在 InfiniBand 子结构之间添加路由设备，可以更大范围地扩充整个InfiniBand 系统。3InfiniBand 较其他 I/O 技术的优越性除了具有很好的系统扩展性外，InfiniBand 还具有另外两个非常关键亦非常重要的特性:一是物理层设备低功耗，二是“箱外带宽” （Bandwidth Out of the Box） ，也即 PCB 之外带宽。如果说 InfiniBand 的可扩展性和 RAS 特性使其远胜过 PCI 架构的 I/O 技术，那么，低功耗和箱外带宽就决定了它必将处在未来计算机 I/O 技术的主导地位。目前，InfiniBand 是惟一一项既可用于印刷电
9、路板 PCB 又可通过光纤或铜缆提供箱外系统连接的 I/O 体系结构。首先我们分析一下物理层设备的低功耗特性。一个 InfiniBand 结构的铜介质物理层设备（PHYs）每一个端口只需要 0.25 瓦，而一个 Gb以太网物理层设备每一个端口需要 2 瓦的功耗。这个量级的差距就决定了以太网主要用于不低于 100 米范围的局域网，而 InfiniBand 更适合于用在互联网数据中心内的几十米范围的服务器和存储系统的连接。因为后者不需要很大的功耗来支撑有限的连线。物理层低功耗从根本上造就了 InfiniBand 在集成和 RAS 方面的优势。因为集成电路的集成度在很大程度上取决于芯片级的功耗，高功
10、耗的以太网技术明显不能以 8X、16X 、24X 等端口形式用于芯片级的系统集成。而将多芯片系统集成到单一芯片的 InfiniBand 系统必将从根本上降低整个 I/O 系统的开销，尤其是在规模可观的 InfiniBand 系统网络中。其次看一下 InfiniBand 的箱外带宽特性。为互联网数据中心提供 I/O 技术支持的不仅仅是 InfiniBand，但只有 InfiniBand 为集群、通信、存储等提供了单一统一的互联支持。有关 InfiniBand 与其他主要 I/O 互联技术的关键差别如表 2 所示。实际上，表 2 所提到的 PCI Express、HyperTransport 以及
11、 RapidIO 都是 InfiniBand 技术的有益补充，因为这些技术提供了处理器级的 I/O 带宽，并通过 InfiniBand 将这种带宽扩展到箱外。InfiniBand 技术架构InfiniBand 技术为元件到元件（component-to-component）提供了 PCB 支持，又为底盘到底盘（chassis-to-chassis）提供了箱外带宽。在 InfiniBand 中，每一条连接都是基于 4 线2.5Gb/s 双向连接。IBA 定义了一个层次化硬件协议结构，就如同使用软件分层结构来管理设备间的初始化和通信一样。为了在一个子结构中管理通信，IBA 定义了一种通信管理方案来
12、负责每一个 InfiniBand 单元的配置和维护。总结 InfiniBand 的特性，主要包括以下方面:分层协议；基于信息包的通信机制；提供了高QoS；三种连接速度 1X、4X 和 12X；支持 PCB、铜缆、光纤互连；子结构管理协议；远程 DMA 支持；支持多播以及广播；可靠的传输方法消息队列机制;通信流控 链路层及终端到终端。1InfiniBand 分层体系结构如同软件系统的分层结构一样，InfiniBand 体系结构（IBA）也分了多个层次，并且这些层次之间也是相互独立的。如图 3 所示，InfiniBand 从下至上分了 5 个层次：物理层、链路层、网络层、传输层以及高层，下面介绍前
13、 4 层的主要内容:（1）物理层（Physical Layer）InfiniBand 是一项非常综合的体系结构，为整个 I/O 系统定义了电气特性和机械特性，主要包括光纤和铜媒介的电缆和插座、底盘连接器以及热交换特性等。InfiniBand 物理层定义了三种速率的连接，分别为 1X、4X 和 12X，速率分配如表 3 所示。（2）链路层（Link Layer ）由图 3 不难看出，在 InfiniBand 体系结构中，链路层与传输层处在 IBA 的核心位置。链路层提供了局部子系统中的信息包设计、点到点连接操作以及包交换等功能。（3）网络层（Network Layer）InfiniBand 的网
14、络层提供了信息包从一个子结构到另外一个子结构的路由机制。（4）传输层（Transport Layer）传输层主要负责信息包的按序分发、分割、通道多路技术以及传输服务等。传输层也负责处理数据包分段的发送、接收和重组。2管理基础结构为了处理所有子结构的创建、维护和与设备相关的服务功能，IBA 定义了两种系统管理方法，每一种方法都有一个子结构中所有设备都支持的专用队列对 QP，通过 QP 来将管理通信量从其他通信量中区分开来。这两种方法分别是子结构管理和通用服务接口（General Services Interface,GSI） 。（1）子结构管理该方法由子结构管理器 SM 来处理。在一个子结构中，
15、至少有一个 SM 来处理子结构的配置和维护。这些处理主要包括 LID 分配、SL 到 VL 映像、连接的创建和撤销以及连接错误矫正等。子结构管理方法通过后台支持所有的配置需求，进而大大简化了客户端的软件管理。（2）通用服务接口 GSIGSI 主要负责子结构管理 SM 所不支持的系统管理，如底盘管理、箱外带宽 I/O 操作等功能。由于这些功能不需要像子结构管理方法那样的较高优先级，因此，GSI 管理信息包不使用高优先级虚拟路径 VL15。3InfiniBand 支持 VIA虚拟接口体系结构（Virtual Interface Architecture，VIA ）是一项分布式消息分发技术。这项技术
16、实现了硬件无关和兼容现有网络连接，通过提供一个 API，在集群系统中实现高速低延迟对等层间通信。InfiniBand 专注于发展 VIA 体系结构。通过使用执行队列，InfiniBand 将通信量控制从软件客户端中解放出来。这些执行队列由客户端发起，之后交由 InfiniBand 来管理。在每一个通信通道的两个设备之间，每一个终端节点都维护了一个工作队列对 WQP（Work Queue Pair） 。每一个客户端将一个事务处理放到 WQP 中，由通道适配器将这个事务处理从发送队列传到远程设备。当远程设备响应这个事务处理时，通道适配器就通过一个完整的队列或事件将这个响应状态返回到客户端。客户端可
17、以同时发送多个 WQPs，而通道适配器将处理所有的这些通信请求。通道适配器通过产生一个完成队列实体 CQE（Completion Queue Entry） ，以正确的优先级次序为每一个 WQP 提供状态信息。这就使得客户端在当前事物处理过程当中进行其他通信活动。毫无疑问，InfiniBand 必将是服务器领域的首选 I/O 架构。随着 HyperTransport、RapidIO以及 PCI Express 等高性能局部 I/O 总线的采用，InfiniBand 的高性能也必将得到更为充分的展现。传统 I/O 带宽瓶颈与 InfiniBand应该说，计算机 I/O 体系结构有着很大的 “惯性”
18、 ，它决定了计算机系统和网络接口卡的机械连接，也决定了诸如主存等半导体设备的接口结构。因此，成功的 I/O 体系结构能够在计算机体系结构中维持十几年甚至更长的时间。PCI 总线技术的演变给人的感觉好像是PCI 架构的 I/O 技术仍旧有着很强的生命力。这个观点在 PC 领域是成立的，但在服务器领域绝非如此。当今的服务器级应用领域覆盖了集群计算、网格、Gb 级网络技术、网络存储等各个方面。这种高端领域的不断扩张，很快暴露了 PCI-X 的 1GB 带宽的局限性。而伴随着 InfiniBand体系结构(IBA) 在局部 PCI-X 系统中的不断应用，PCI-X 的带宽局限性日趋严重。值得注意的是，
19、CPU 主频在不断提高，GHz 的 CPU 已成为 PC 机的主流配置。并且，随着Intel 0.09 微米工艺的成熟，高于 3GHz 的 CPU 不久将会问世。但是，计算机 I/O 的带宽远远落后于 CPU 的主频需求。据统计，计算机 I/O 总线的带宽每 3 年才翻一番，与 CPU 的带宽需求差距甚远。如图所示。这就造成了 I/O 可用带宽与 CPU 带宽需求之间的尖锐矛盾。由此可见，提高计算机 I/O 带宽绝非一个数字游戏。大幅度提高并优化 I/O 带宽是整个计算机系统中迫切需要解决的问题，否则，计算机其他方面技术进步所带来的局部性能提高都会被淹没在落后的 I/O 带宽瓶颈中。不必讨论传
20、统 PCI 总线，也姑且不必谈及 12X InfiniBand。即便是通过 IBA 所定义的 4X路 20Gb/s 或 2.5GB/s 的 InfiniBand，PCI-X 仍然是系统瓶颈所在！不过，随着诸如 PCI Express、HyperTransport 等局部高性能 I/O 技术的采用，PCI-X 所带来的系统 I/O 瓶颈得到了很大程度的缓解，直至消除。应该指出的是，如果采用 1X InfiniBand，PCI-X 还是能够满足系统 I/O 需求的。如果在系统逻辑与南桥之间以及南桥与 HCA 之间均采用 PCI Express 连接，那么对整个系统而言，I/O 整体性能都得到了很大
21、程度的提高，因为从处理器经由 I/O 子系统到整个InfiniBand 组织都可以达到 20Gb/s 的带宽。这样，现有的 I/O 瓶颈基本可以消除。那么所谓的 InfiniBand 将取代 PCI 架构（主要是 PCI-X）的依据又是什么呢？要实现这个取代，其前提是 InfiniBand 逻辑电路集成到芯片一级，也就是将南桥换成带有 HCA 的 I/O桥接器件。但计算机技术的发展表明，技术的发展趋势与技术的实际应用是迥然不同的两个概念。在 PCI Express 尚未得到广泛应用的今天，谈论 InfiniBand 将取代 PCI 架构没有什么实际意义。当然，随着芯片制造技术的不断发展，这种取
22、代是可以实现的，但这需要很长的时间，几年甚至几十年。产品链接 Cypress 公司的 InfiniBand PHY IP 核赛普拉斯半导体公司推出一种点到点的集成了通信功能的 InfiniBand PHY IP 核，可以实现高达 2.5Gbps 的串行速率。该 IP 核是通过 Cypress 公司先进的 PSI 系列设备实现的，将其可编程 PHY 器件中的可编程串行接口 (PSITM)系列产品推向了 InfiniBand 市场。该 IP 核的主要特性包括：点到点集成通信解决方案；与 InfiniBand Spec 1.0a 相兼容；改进了设计容限；确保可靠操作；提供了诸如时钟补偿、8B/10B
23、 编码/解码；提供了硬件校验措施。Cypress 数据通信市场营销总监 Geoff Charubin 表示，在不久的将来，将提供 4 通道和 12 通道两种 InfiniBand 解决方案。 DCM 公司的 IBLL IP 核DCM 公司推出的 IBLL（InfiniBand Link Layer）是通过 Verilog HDL 实现的高性能、非常灵活的 IP 核，可以在 1X 和 4X（1X 2.5Gbps，单向）速率下灵活地配置为交换机、路由器以及通道适配器等设备。 IBLL IP 核具有以下特性：兼容 InfiniBand Specification Version 1.0a 所定义的链接层，并且充分实现了该层所定义的功能；支持 Cypress 公司的 16位 InfiniBand PHY IP 核；在一个定制逻辑子模块的帮助下，可以对诸多厂商的 PHY 芯片实现有效配置；通过灵活配置，可以工作于路由器、交换机等设备；支持 InfiniBand 1X和 4X 速率；支持 VL0-3、VL15 等虚拟通路缓冲技术。（计算机世界报 第 49 期 B23、B24 、B25）
