1、ODCC-0500X-201X 无损网络测试规范0无损网络测试规范V1.0编号 ODCC-0500X-201X开放数据中心委员会 2017-08-22 发布ODCC-0500X-201X 无损网络测试规范1目 录1. 测试环境 .41.1. 测试网络拓扑 41.2. 配合设备 41.3. 测试工具 51.4. 业务场景 52. 测试项目 .62.1. 交换机裸性能：吞吐量、时延、丢包率测试 .62.2. 无损网络 HPC 业务性能测试 82.2.1. 无损网络&InfiniBand 网络测试 .82.2.2. 与传统 Ethernet 网络对比测试 .112.3. 无损网络 DPDK 性能测试
2、 .152.3.1. DPDK 无丢包转发性能测试 .152.4. 无损网络虚拟化场景性能测试 162.4.1. 虚拟化 SR-IOV 场景下的带宽和延迟性能测试 162.4.2. 虚拟化 SR-IOV 场景下的 DPDK 吞吐性能和不丢包测试 .192.5. 无损网络传统存储业务性能测试 20ODCC-0500X-201X 无损网络测试规范22.5.1. iSCSI over TCP/RDMA 随机读写性能对比测试(FIO) .202.5.2. iSCSI over TCP/RDMA OLTP 模型读写性能对比测试(VDBENCH) 222.5.3. iSCSI over TCP/RDMA
3、OLAP 模型读写性能对比测试(VDBENCH)242.6. 无损网络 NVMF（NVMe over Fabric）业务性能测试 .262.6.1. 无损网络&InfiniBand 网络测试 .272.6.2. 与传统 Ethernet 网络对比测试 .312.7. 无损网络分布式数据处理业务性能测试 .352.7.1. 高性能 Spark HiBench 排序性能测试 .35ODCC-0500X-201X 无损网络测试规范3前 言本标准规定了数据中心的无损网络测试规范。本标准是数据中心 xxx 产品商用部署所需要遵从的技术文件。本规范的起草感谢以下单位（排名不分先后）：ODCC-0500X-
4、201X 无损网络测试规范4无损网络测试规范1. 测试环境1.1. 测试网络拓扑图表 1 网络拓扑图1.2. 配合设备配合设备名称 数量 单位 备注InfiniBand 交换机 5 台无损网络交换机 5 台ODCC-0500X-201X 无损网络测试规范5Ethernet 交换机 5 台服务器/CPU/内存 16 台 测试 HPC 应用和 SPARK，要求配置尽量高AOC 若干 根NVME 若干 如果没有的话就用 NULL_BLK 设备图表 2 配合设备列表1.3. 测试工具测试工具名称 备注FIO 存储性能测试软件OpenFoam HPC 性能测试软件，V1606+ 版本OFED 版本 3.
5、4-1.0.0.0，背景流产生命令 Ib_send_bwIMBOSUOSU Micro-Benchmarks 5.4.2Intel(R) MPI Benchmarks 2018 Update 1图表 3 测试工具列表1.4. 业务场景无损网络旨在为主流业务所用的数据中心网络提供时延无损、丢包无损、吞吐无损。当前这些业务对于数据中心网络的性能提出了更高的要求，未来网络需要更高带宽、更低时延、更大吞吐。本测试针对当前主流业务，例如高性能数据库、大数据处理平台、HPC 业务、虚拟化场景等，开展了数据中心无损网络的各项测试。希望能为高性能、低时延、虚拟化场景下的业务提供更好的数据中心网络。ODCC-0
6、500X-201X 无损网络测试规范62. 测试项目2.1. 交换机裸性能：吞吐量、时延、丢包率测试项目编号：1.测试项目：交换机时延测试测试目的：以太网络和 IB 网络交换机的时延测试测试配置：分别进行 Ethernet 和 IB 组网及配置，测试交换机延时网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1、配置两台服务器，使用双端口网卡。每个网卡的两个端口，端口 1 连到交换机，端口 2 直连对端服务器。对交换机做简单配置，保证连通性。2、测试通过端口 1 的 IB_write_latency 延时，以及通过端口 2 的对应延时。3、记录平均时延结果。预期结果： 1、 IB 交换机延时
7、增加在 100ns 以内；2、 以太交换机延时 300ns 左右。备注：SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范7项目编号：2.测试项目：带宽测试测试目的：以太网络和 IB 网络交换机的带宽测试测试配置：分别进行 Ethernet 和 IB 组网及配置，测试交换机端口带宽网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1、配置两台服务器，使用双端口网卡。每个网卡的两个端口，端口 1 连到交换机，端口 2 直连对端服务器。对交换机做简单配置，保证连通性。2、测试通过端口 1 的 IB_write_bandwidth 延时，以及通过端口 2
8、 的对应带宽。3、记录平均带宽结果。预期结果： 1、 IB 交换机带宽为 25Gb 线速；2、 以太交换机带宽接近 25Gb 线速。备注：SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范82.2. 无损网络 HPC 业务性能测试2.2.1. 无损网络 &InfiniBand 网络测试项目编号：3.测试项目：规模对比测试测试目的：不同网络规模下无损网络和 IB 网络的性能测试测试配置：分别进行无损和 IB 无阻塞组网，网络拓扑、端口速率和节点配置均一致。测试不同规模下，两种组网下 OpenFoam 测试用例 motorBike 的运行时间。 网络拓扑
9、：以两级 CLOS、无阻塞组网，服务器规模 16 台ODCC-0500X-201X 无损网络测试规范9网络拓扑图测试步骤： 1、在每台服务器（Huawei 2288 v3，操作系统 redhat7.1）上分别安装OpenFoam（版本 V1606+），OFED（版本 3.4-1.0.0.0），并配置所有节点间无密码互相登录。2、任选一台服务器作为 master（上图中最左边一台），其余服务器作为 slave。16台时 IB 和无损组网配置分别如下。3、执行前处理；Master 上执行./run1.sh ，完成前处理。4、执行运算；Master 上执行./run2.sh ，进行并行计算5、记录执
10、行时间。预期结果：无损网络交换机与 IB 交换机均无丢包，任务完成时间相当。备注：项目编号：4.测试项目：有背景流测试ODCC-0500X-201X 无损网络测试规范10测试目的：有背景流时，无损网络和 IB 网络的性能测试测试配置：分别进行无损和 IB 无阻塞组网，网络拓扑、端口速率和节点配置均一致。测试增加背景流时，两种组网下 OpenFoam 测试用例 motorBike 的运行时间。网络拓扑：以两级 CLOS、 16 台服务器组网为例测试步骤：1、在每台服务器（Huawei 2288 v3，操作系统 redhat7.1）上分别安装OpenFoam（版本 V1606+），OFED（版本
11、3.4-1.0.0.0），并配置所有节点间无密ODCC-0500X-201X 无损网络测试规范11码互相登录。2、任选一台服务器作为 master（上图中最左边一台），其余服务器作为 slave。16台时 IB 和无损组网分别进行配置。3、添加背景流；4、执行前处理；5、执行运算；6、记录执行时间；预期结果：无损网络交换机与 IB 交换机均无丢包，任务完成时间相当。备注：2.2.2. 与传统 Ethernet 网络对比测试 项目编号：5.测试项目：规模对比测试测试目的：对比不同网络规模下无损网络和传统 ETHERNET 网络的性能测试配置：分别进行无损和传统 Ethernet 无阻塞组网，网络
12、拓扑、端口速率和节点配置均一致。测试不同规模下，两种组网下 OpenFoam 测试用例 motorBike 的运行时间。 ODCC-0500X-201X 无损网络测试规范12网络拓扑：以两级 CLOS、无阻塞组网，服务器规模是 16 台测试步骤： 1、在每台服务器（Huawei 2288 v3，操作系统 RedHat 7.1）上分别安装OpenFoam（版本 V1606+），OFED（版本 3.4-1.0.0.0），并配置所有节点间无密码互相登录。2、任选一台服务器作为 master（上图中最左边一台），其余服务器作为slave。1/2/4/8/16 台时传统 Ethernet 和无损组网分别
13、配置。ODCC-0500X-201X 无损网络测试规范133、执行前处理；4、执行运算；5、记录执行时间。预期结果：二者均无丢包，无损网络交换机任务完成时间较低备注：项目编号：6.测试项目：有背景流测试测试目的：对比有背景流时，无损网络和传统 Ethernet 网络的性能测试配置：分别进行无损和传统 Ethernet 无阻塞组网，网络拓扑、端口速率和节点配置均一致。测试增加背景流时，两种组网下 OpenFoam 测试用例 motorBike 的运行时间。网络拓扑：以两级 CLOS、 16 台服务器组网为例ODCC-0500X-201X 无损网络测试规范14测试步骤： 1、在每台服务器（Huaw
14、ei 2288 v3，操作系统 RedHat 7.1）上分别安装OpenFoam（版本 V1606+），OFED（版本 3.4-1.0.0.0），并配置所有节点间无密码互相登录。2、任选一台服务器作为 master（上图中最左边一台），其余服务器作为 slave。16台时传统 Ethernet 和无损组网分别配置。3、添加背景流；ODCC-0500X-201X 无损网络测试规范154、执行前处理；5、执行运算；6、记录执行时间。预期结果：传统交换机存在丢包可能性，无损网络交换机不丢包，且任务完成时间少备注：2.3. 无损网络 DPDK 性能测试2.3.1. DPDK 无丢包转发性能测试项目编号
15、：7.测试项目：DPDK 无丢包转发性能测试测试目的：无损网络 DPDK 转发性能测试配置：1. 服务器安装 linux 操作系统，安装官方网站的 DPDK 包2. 测试仪分别连接被测试服务器网卡的各端口网络拓扑： ODCC-0500X-201X 无损网络测试规范16测试步骤：1. 检查 DPDK 的 PMD driver 依赖包是否与 DPDK 官方网站的一致2. 启动 DPDK 自带的 L3fwd 程序3. 通过测试仪持续生成 64B 的数据包，数据包通过 L3fwd 到同网卡的同端口发送回测试仪4. 通过测试仪表检测在零丢包情况的网络吞吐，记录转发性能数据5. 将数据包大小换为 128B
16、、256B 以及 512B，分别重复执行上述 3、4 步骤预期结果：记录网卡在不同大小数据包的转发性能数据，在各种包长情况下，转发能力均可达到预期 25GE 的线速速率备注：2.4. 无损网络虚拟化场景性能测试2.4.1. 虚拟化 SR-IOV 场景下的带宽和延迟性能测试 项目编号：8.ODCC-0500X-201X 无损网络测试规范17测试项目：时延测试测试目的：虚拟化场景下，以太网络和 IB 网络交换机的时延测试测试配置：1. 服务器网卡开启 SRIOV，分别对网卡的其中一个端口配置一定数量 VF2. 启动虚机，虚拟机配置网卡，通过 SRIOV 连接到物理网卡的其中一个 VF3. 分别进行
17、 Ethernet 和 IB 组网及配置，测试通信延时网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1、配置两台服务器，使用双端口网卡。每个网卡的两个端口，端口 1 连到交换机，端口 2 直连对端服务器。对交换机做简单配置，保证连通性。2、测试通过端口 1 的 VF IB_write_latency 延时，以及通过端口 2 的 VF 对应延时。3、记录平均时延结果。预期结果： 1. IB 交换机延时增加在 100ns 以内；2. 以太交换机延时 300ns 左右。备注：SwitchServer 1 VM1 VF1 Server 2 VM1 VF1ODCC-0500X-201X 无损网络测
18、试规范18项目编号：9.测试项目：带宽测试测试目的：虚拟化场景下，以太网络和 IB 网络交换机的带宽测试测试配置：1. 服务器网卡开启 SRIOV，分别对网卡的其中一个端口配置一定数量 VF2. 启动虚机，虚拟机配置网卡，通过 SRIOV 连接到物理网卡的其中一个 VF3. 分别进行 Ethernet 和 IB 组网及配置，测试通信带宽网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1. 配置两台服务器，使用双端口网卡。每个网卡的两个端口，端口 1 连到交换机，端口 2 直连对端服务器。对交换机做简单配置，保证连通性。2. 测试通过端口 1 的 VF IB_write_bandwidth
19、带宽，以及通过端口 2 的 VF 对应带宽。3. 记录平均带宽结果。预期结果： 1. IB 交换机带宽为 25Gb 线速；2. 以太交换机带宽接近 25Gb 线速。备注：SwitchServer 1 VM1 VF1 Server 2 VM1 VF1ODCC-0500X-201X 无损网络测试规范192.4.2. 虚拟化 SR-IOV 场景下的 DPDK 吞吐性能和不丢包测试项目编号：10.测试项目：虚拟化场景的 DPDK 不丢包测试测试目的：测试被测设备虚拟化的转发性能测试配置：1. 服务器网卡开启 SRIOV，分别对两个网卡的其中一个端口配置一定数量 VF2. 启动虚机，虚拟机配置两个网卡，
20、分别通过 SRIOV 连接到两个不同物理网卡的其中一个 VF3. 测试仪分别连接被测试服务器的两个网卡网络拓扑： 测试步骤：1. 检查 DPDK 的 PMD driver 依赖包是否与 DPDK 官方网站的一致2. 在虚拟机内启动 DPDK 自带的 testPMD 程序3. 通过测试仪持续生成 64B 的数据包，数据包通过一个网卡的 VF 到虚拟机的ODCC-0500X-201X 无损网络测试规范20L3fwd 到另一个网卡 VF 发送回测试仪。4. 通过测试仪表检测在零丢包情况的网络吞吐，记录转发性能数据。5. 将数据包大小换为 128B、256B 以及 512B，分别重复执行上述 3、4
21、步骤。预期结果：记录网卡在使用 SR-IoV 在不同大小数据包时的转发性能数据，在各种包长情况下，转发能力均可接近线速速率备注：2.5. 无损网络传统存储业务性能测试2.5.1. iSCSI over TCP/RDMA 随机读写性能对比测试(FIO)项目编号：11.测试项目：8K 数据块 7：3 测试测试目的：测试存储系统 8K 数据块混合读写的性能测试配置：1. 系统环境搭建完成，处于正常运行状态2. 每个卷 100G,卷的数量不限，以能发挥最大性能为标准3. 限制存储系统使用 2 个 cpu4. 测试卷已使用 fio 工具进行全盘初始化写5. 计算节点已安装 FIO 测试工具，对裸盘进行性
22、能测试6. 以 iSCSI 模式挂载方式、两副本模式测试性能，分别进行无损和传统 Ethernet 无阻塞组网，网络拓扑、端口速率和节点配置均一致。网络拓扑：ODCC-0500X-201X 无损网络测试规范21单台交换机组网测试。如下图为例：测试步骤：1. 在计算节点上启动 fio 测试工具，设置测试模型为：8KB 数据块大小，7：3 比例混合读写。fio 线程数（numjobs=1 参数）可自行调整，以发挥存储最大性能为准。2. 记录 fio 运行结束后输出的 IOPS预期结果： 1. fio 正常运行2. 记录 fio 运行结束后输出的 IOPS。备注：项目编号：12.测试项目：1024k
23、 数据块随机读写性能测试目的：测试存储系统 1024K 数据块随机读写的性能测试配置：1. 系统环境搭建完成，处于正常运行状态2. 每个卷 100G,卷的数量不限，以能发挥最大性能为标准3. 限制存储系统使用 2 个 cpu4. 测试卷已使用 fio 工具进行全盘初始化写SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范225. 计算节点已安装 FIO 测试工具，对裸盘进行性能测试。6. 以 iSCSI 模式挂载方式、两副本模式测试性能，分别进行无损和传统 Ethernet 无阻塞组网，网络拓扑、端口速率和节点配置均一致。网络拓扑：单台交换机组网测试
24、。如下图为例：测试步骤：1. 在计算节点上启动 fio 测试工具，设置测试模型为：分别测试 1024K 随机读和写的性能。fio 线程数（numjobs=1 参数）可自行调整，以发挥存储最大性能为准。2. 记录 fio 运行结束后输出的 IOPS预期结果： 1. fio 正常运行2. 记录 fio 运行结束后输出的 IOPS备注：2.5.2. iSCSI over TCP/RDMA OLTP 模型读写性能对比测试(VDBENCH)项目编号：13.测试项目：OLTP 模型读写性能测试测试目的：测试被测存储系统 OLTP 模型读写性能SwitchServer 1 Server 2ODCC-0500
25、X-201X 无损网络测试规范23测试配置：1. 按照测试组网图搭建测试环境2. 每个卷 100G,卷的数量不限，以能发挥最大性能为标准3. 限制存储系统使用 2 个 cpu4. 被测产品运行正常5. 存储系统中所有已划分空间按 1024k 块大小写满6. 以 iSCSI 模式挂载方式、两副本模式测试性能，分别进行无损和传统 Ethernet 无阻塞组网，网络拓扑、端口速率和节点配置均一致。网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1） 在压力机上部署 Vdbench 测试工具。主机定义设置如下：hd=default,vdbench=/home/vdbench,user=root,s
26、hell=sshhd=hd1,system=node1hd=hd2,system=node2hd=hd3,system=node32） 设置测试工具模型如表 6-1 所示，测试数据量为块存储总 SSD 缓存大小的 1.5 倍除以副本数。在压力机上运行 Vdbench 测试工具。存储定义、工作负载定义、运行定义设置如下：sd=sd1,hd=hd1,lun=/dev/sdb,openflags=o_direct,threads=1（厂家自行调整）SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范24wd=wd1,sd=sd*,seekpct=100,rd
27、pct=100,xfersize=8k,skew=20 wd=wd2,sd=sd*,seekpct=100,rdpct=100,xfersize=4k,skew=45 wd=wd3,sd=sd*,seekpct=100,rdpct=0,xfersize=8k,skew=15 wd=wd4,sd=sd*,seekpct=0,rdpct=100,xfersize=64k,skew=10 wd=wd5,sd=sd*,seekpct=0,rdpct=0,xfersize=64k,skew=10预期结果： 测试过程无异常，记录平均读写 IOPS备注：2.5.3. iSCSI over TCP/RDMA
28、OLAP 模型读写性能对比测试(VDBENCH)项目编号：14.测试项目：OLAP 模型读写性能测试测试目的：测试被测存储系统 OLAP 模型读写性能测试配置：1. 按照测试组网图搭建测试环境2. 每个卷 100G,卷的数量不限，以能发挥最大性能为标准3. 限制存储系统使用 2 个 cpu4. 被测产品运行正常ODCC-0500X-201X 无损网络测试规范255. 存储系统中所有已划分空间按 1024k 块大小写满6. 以 iSCSI 模式挂载方式、两副本模式测试性能，分别进行无损和传统 Ethernet 无阻塞组网，网络拓扑、端口速率和节点配置均一致。网络拓扑：单台交换机组网测试。如下图为
29、例：测试步骤：测试步骤：1） 在压力机上部署 Vdbench 测试工具。主机定义设置如下：hd=default,vdbench=/home/vdbench,user=root,shell=sshhd=hd1,system=node1hd=hd2,system=node2hd=hd3,system=node32） 设置测试工具模型如表 6-1 所示，测试数据量为块存储总 SSD 缓存大小的 1.5 倍除以副本数。在压力机上运行 Vdbench 测试工具。存储定义、工作负载定义、运行定义设置如下：sd=sd1,hd=hd1,lun=/dev/sdb,openflags=o_direct,threa
30、ds=1（厂家自行调整）wd=wd1,sd=sd*,seekpct=100,rdpct=100,xfersize=4k,skew=15 wd=wd2,sd=sd*,seekpct=100,rdpct=0,xfersize=4k,skew=5 wd=wd3,sd=sd*,seekpct=0,rdpct=100,xfersize=64k,skew=70 SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范26wd=wd4,sd=sd*,seekpct=0,rdpct=0,xfersize=64k,skew=10rd=rd1,wd=wd1,iorate=ma
31、x,elapse=604800,maxdata=数据量,interval=5,warmup=30预期结果： 测试过程无异常，记录平均读写 IOPS备注：2.6. 无损网络 NVMF（NVMe over Fabric）业务性能测试针对 NVMF 业务，为了对比测试不同网络规模下无损网络、 传统 Ethernet 网络、InfiniBand 性能，需要分别进行无损、传统 Ethernet、IB 组网，在相同的网络拓扑、端口速率和节点配置情况下，测试 NVMF 业务 IOPS 和尾部时延性能。首先配置 target 和 client 服务器，相应 target 和 client 建链；client
32、访问target 下的 NVMe SSD，使用标准工具 FIO 进行测试，分别测试不同组网（多打一、多打多）、不同读写类型、不同块大小、不同队列深度、不同线程数、不同背景流等情况下的 IOPS 性能和尾部时延；最终统计测试结果并记录 IOPS 和尾部时延性能。也可根据用户需求对服务器 CPU 利用率进行比较，测试过程中，使用 top 命令观察，用nmon 记录各核心占用率。下面结合两个具体案例来详细说明无损网络与 IB、传统 Ethernet 的性能测试。2.6.1. 无损网络&InfiniBand 网络测试项目编号：15.ODCC-0500X-201X 无损网络测试规范27测试项目：NVMF
33、 读性能测试测试目的：无损网络和 IB 网络的性能测试测试配置： 分别进行无损和 IB 组网及配置，测试 NOF 业务 IOPS 和尾部时延性能，网络拓扑、端口速率和节点配置均一致。网络拓扑： CLOS 网络，TOR 下接服务器。如下图为例：测试步骤： 1、配置 target 和 client 服务器。例如可以采用华为 RH2288v3 服务器和 Mellanox ConnectX-4 网卡。安装 linux 操作系统，因需要支持 NOF 协议栈，需安装Ubuntu16.10 或以上版本。 target 端需要创建和配置ODCC-0500X-201X 无损网络测试规范28subsystem、
34、namespace、port 等，配置完成后 client 与相应 target 建链；建链完成后在 client 生成逻辑 NVMe 盘，可以使用标准存储测试工具 FIO 进行测试，使用FIO2.10 或以上版本。2、完成所有 client 和 target 建链后，使用标准工具 FIO 进行测试，client 访问target 下的 NVMe SSD。本例测试 2 打 2 读操作场景（2 个 client 和 2 个 target 服务器一一对应建链，client 和 target 在不同的两个 TOR，2 个 client 同时访问其target 下的 NVMe SSD 盘）、块大小 1
35、28K、队列深度为 1、线程数为 256 个、不加背景流；3、统计 FIO 测试结果；4、记录 IOPS 和尾部时延性能。预期结果： 无损交换机和 IB 交换机均无丢包，二者 IOPS 相当，尾部时延相当。备注：项目编号：16.测试项目：NOF 写性能测试测试目的：无损网络和 IB 网络的性能测试测试配置： 分别进行无损和 IB 组网及配置，测试 NOF 业务 IOPS 和尾部时延性能，网络拓扑、端口速率和节点配置均一致。ODCC-0500X-201X 无损网络测试规范29网络拓扑： CLOS 网络，TOR 下接服务器。如下图为例：测试步骤：1、配置 target 和 client 服务器。2、完成所有 client 和 target 建链后，使用标准工具 FIO 进行测试，client 访问target 下的 NVMe SSD。3、统计 FIO 测试结果；4、记录 IOPS 和尾部时延性能。预期结果：
