1、2006 年 1 月 Journal on Communications January 2006第 27 卷第 1 期 通 信 学 报 Vol.27 No.1网络存储系统 I/O 响应时间边界性能研究 (标题 1，3 号黑体，外文为Times New Roman 加粗)崔宝江 1，刘军 2,3，王 刚 2，刘 璟 2（人名，5 号楷体_GB2312）(1. 北京邮电大学 信息安全中心，北京 100876；2. 南开大学 计算机科学系，天津 300071)（地名，6 号宋体、外文 Times New Roman）摘 要：为了对网络存储系统性能进行预测和改进，利用定量分析法研究了系统 I/O 响
2、应时间与各性能影响因素之间的关系。通过分析网络 RAID 存储系统的数据传输原理，建立了该系统的闭合排队网络模型，并研究了其I/O 当并发任务数较低时，存储中心服务器 CPU 处理能力和缓冲区命中率是影响 I/O 响应时间的关键因素。关键词：网络存储；性能建模；排队网络；I/O 响应时间中图分类号：TP302 文献标识码：A 文章编号：1000-436X(2006)01-0001-06(“摘 要”题名为小 5 号黑体，摘要正文为小 5 号宋体) (“关键词”题名为小 5 号黑体， 关键词正文为小 5 号宋体) (“中图分类号、文献标识码、文章编号”题名为小 5 号黑体，内容为小 5 号 Tim
3、es New Roman 体)Study on I/O response time bounds of network storage systems(标题 1，3号 Times New Roman 加粗)CUI Bao-jiang1, LIU Jun2,3, WANG Gang2, LIU Jing2（人名， 5 号 Times New Roman）(1. Information Security Centre, Beijing University of Posts and Telecommunications, Beijing 100876, China;2. Dept. of Comp
4、uter Science, Nankai University, Tianjin 300071, China)（地名，6 号 Times New Roman）Abstract: In order to predict and improve the performance of networked storage systems, the relationship was explored between the system I/O response time and its performance factors by quantitative analytical method. Thr
5、ough analyzing dynamic trend of its actual performance. Furthermore, we conclude that the CPU processing power and cache hit rate of the server at the storage center are the key factors affecting the I/O response time as the concurrent jobs are lower.Key words: networked storage; performance modelli
6、ng; queueing networks; I/O response time(英文摘要、关键词为小 5 号 Times New Roman，题名加粗)1 引言（标题 2，小 4 号黑体，占 2 行）网络技术的飞速发展，促使信息量正以超乎人们想象的速度增长。随着海量数据处理需求的日益迫切，用户对数据存储系统在性能方面提出了更高的要求。现有对存储系统性能方面的研究主要集中在 DAS 存储系统 1，随着网络存储技术的快速发展，针对网络存储系统性能方面的研究逐渐成为当前热点。由于存储网络的引入，使影响网络存储系统收稿日期（小 5 号黑体）：2005-10-10；修回日期（小 5 号黑体） ：200
7、5-11-10基金项目（小 5 号黑体）：国家自然科学基金资助项目（60273031） ；高校博士点科研基金资助项目（20020055021） ；天津市科技发展计划重点基金资助项目（043800311） （小 5 号宋体）Foundation Items: National Natural Science Foundation of China (60273031) ; Education Ministry Doctoral Research Foundation of China (20020055021)（加基金项目中文的译文，小五号 Times New Roman，题名加粗）2 通 信
8、学 报 第 27 卷性的 因 素 更 加 复 杂 ， 不 仅 涉 及 到 DAS 存 储 系 统 ，而 且 和 网 络 、 主 机 系 统 性 能 密 切 相 关 。 对 于 网 络 存储 系 统 性 能 方 面 的 评 价 和 研 究 ， 国 内 外 都 做 了 大 量工 作 。 目 前 ， 这 些 关 于 性 能 方 面 的 研 究 大 都 是 定 性的 24， 定 量研究模型仍然有限 5。本文构建了基于网络 RAID 结构的网络存储系统，对其结构和数据处理流程进行了分析，建立了它的闭合排队网络模型 CQNM(closed queueing networks model)，并在排队网络理论
9、基础上提出了其性能定量分析模型。利用此模型可快速分析网络 RAID 存储系统 I/O 响应时间的性能边界，定量地分析影响网络存储系统性能的关键性能影响因素，并区分各种影响因素对系统性能的影响程度。本文的结构如下：第 2 节，描述网络 RAID存储系统的结构；第 3 节，建立了网络 RAID 存储系统的排队网络模型，并在此基础上提出了其I/O 响应 时 间 的 边 界 性 能 分 析 模 型 ； 第 4 节 对 I/O响 应 时 间 的 性 能 分 析 模 型 进 行 了 验 证 ， 并 利 用 模型 分 析 了 网 络 RAID 存 储 系 统 的 性 能 影 响 因 素 ；第 5 节 ， 结
10、 论 。2 网络 RAID 存储系统的结构网络 RAID 存储系统的系统结构如图 1 所示，构建了基于两级 RAID5 冗余结构的网络存储系统。分布于网络中的存储设备，利用 IP 存储协议ENBD 映射为存储中心服务器的虚拟存储设备。这些虚拟设备通过存储中心服务器中的软 RAID设备驱动程序构建成不同级别的 RAID 存储空间。从而把在网络中分布的存储资源组织成存储中心服务器可利用的具有统一地址空间的虚拟存储空间。在网络 RAID 存储系统中，存储中心服务器应用程序对本地虚拟 RAID 存储设备的读写请求，通过调用 ENBD Client 端程序，将数据由网络传送到远端的存储服务器。存储服务器
11、中的 ENBD Server 端程序接收到数据包后，解析出原数据和命令，将读写请求通过设备文件系统或设备驱动程序对存储设备完成具体读写操作，最后将相应信息再反馈回存储中心服务器。在上面对网络存储系统的基本存储数据处理流程进行分析的基础上，可建立其抽象性能分析模型。图 1 网络 RAID 存储系统的网络拓扑图3 网络 RAID 存储系统的性能分析模型3.1 建立网络模型（标题 3，5 号黑体，占 1 行）（以下为正文，正文为 5 号宋体，外文 Times New Roman。注意：正文中单个数字和外文字母不得用公式编辑器生成）基于以上对网络 RAID 存储系统基本存储流程的分析，我们将数据处理流
12、程中的主要环节抽象为一个个服务节点，其中，存储中心服务器和存储服务器中的中央处理器抽象为 CPU 服务节点，网卡抽象为网卡服务节点，用于在存储中心服务器和存 D 存储系统的 CQNM 模型，见图 2，图中左侧的存储中心服务器通过网络连接到右侧的存储服务器。CPU 服务节点负责处理本地的应用程序和数据，网卡服务节点通过网卡向网络中发送或接收数据，网络传输节点通过网络传输数据，磁盘 I/O 节点负责对磁盘进行读写操作。3.1.1 建立边界性能分析模型 （标题 4，5 号楷体，占 1 行）建立网络 RAID 存储系统的 CQNM 模型后，我们利用 BJB6（balanced job bounds）方
13、法定量分析其响应时间的性能边界。假定 Di 为节点图 2 网络 RAID 存储系统的排队网络模型（图片居中排，图片中字号为 6 号华文中宋，段前空为 12 磅，段后空为 5 磅） （图名为 6 号宋体，居中，段前空 2 磅，段后空为 10 磅）第 1 期 崔宝江等：网络存储系统 I/O 响应时间边界性能研究 3i（i1,K）的服务需求，定义Dmax=maxDi,i(1,K), D sum= , i(1,K)，K1iDavg Dsum/K，则网络 RAID 存储系统 I/O 响应时间的性能边界为(公式另行居中单倍行距，用制表符隔开，编号右对齐，公式字号大小是 10.5 磅)max(NDmax,
14、Dsum+(N1)Davg)R(N) (1)下面根据网络 RAID 存储系统中数据处理的具体流程，进一步建立每个服务节点服务需求 Di的分析模型。CPU 服务节点服务需求的计算又分为存储中心服务器和存储服务器两类。存储中心服务器中CPU 服务节点的服务需求 DCm 是指用于处理存储行为的时间，包括 CPU 服务节点对网络虚拟磁盘数据读写操作的时间，以及缓存未命中时 ENBD Client 对数据处理的时间和进行传输所消耗的TCP/IP 协议处理时间，可表示为DCm= Tmpro +(1Pm)TmpIPnum (2)SU其中，S m 为单个任务操作所处理的字节数，T mpro为单个数据条纹单元的
15、平均处理时间，包括内存拷贝和读写操作时间。STU m 为中心服务器条纹单元的大小，P m 为读写的缓存命中率， 1Pm 为读写操作访问存储服务器磁盘的概率。在实验环境中，由于文件大小远大于系统缓存，假定写操作的缓存命中率为 0。T mp 为 ENBD Client 对单个 IP 包包含的数据进行数据处理和传输所消耗的 TCP/IP 协议处理时间之和。IP num 为单个任务被分片所得的IP 数据包数，则IPnum = (3)mRi/SMMSS 为以太网中 TCP 最大分段大小。S mRi 为RAIDi 时，存储中心服务器处理单个任务所实际操作的字节数。例如，对于 RAID5 系统的写操作，由于
16、要同时写数据单元和校验单元，故SmR5=Sm (4)m/(1)TPSTPm 为存储中心服务器一个条纹包含的条纹单元数；对于读操作，则SmR5=Sm (5)同理，存储服务器中 CPU 服务节点的服务需求 DCsn 可表示为DCsn= （T snpro +Tsnp ） (6)m1PSsnmSUsnumIP其中，T snpro 为存储服务器单个数据条纹单元的平均处理时间，S sn 为存储服务器对于存储中心服务器的一个 RAID5 任 务 所 需 要 实 际 处 理 的 字 节 数 ，可 表 示 为 Ssn=SmR5/STPm。 Tsnp 为 存 储 服 务 器 处 理 单个 IP 包 包 含 的 数
17、 据 所 花 费 的 处 理 时 间 。 IPsnnum 为 存储 服 务 器 对 于 中 心 服 务 器 的 一 个 RAID5 任 务 所 需要 实 际 处 理 的 IP 数 据 包 数 ， 可 表 示 为IPsnnum=IPnum/STPm。存储中心服务器网卡服务节点的服务需求可以表示为每个任务通过网卡进行传输所用的平均时间DNm=（1P m） (7)nueIFrasTRt其中，TRate e 为以太网的传输速率，Frames e 为以太帧的大小。与之类似，存储服务器中网卡服务节点的服务需求表示为DNsn= IPsnnum (8)m1PSTeFrasRt网络传输节点的服务需求可以表示为每
18、个任务在网络传输过程中所用的平均时间DNet=(1Pm) (9)5eRSTat磁盘 I/O 节点的服务需求表示为每个任务在磁盘中进行操作所需时间Dd= (1Psn)m1STsnmd()SUseklatncyTRte(10)其中，P sn 为存储服务器的缓存读命中率，1P sn 为读操作访问磁盘的概率，由于文件大小大于系统缓存，假定写操作的命中率为 0。seek 和 latency分别读操作访问磁盘的概率，由于文件大小大于系统缓存，假定写操作的命中率为 0。seek 和latency 分别为磁盘的平均寻道时间和平均延迟时间，TRate d 为磁盘的最大持续传输速率。将上面各节点的服务需求模型代入
19、式(1)中，4 通 信 学 报 第 27 卷即可得到基于网络 RAID 存储系统 I/O 响应时间的性能边界分析模型。4 性能测试与分析我们利用上述模型的基础上，对网络 RAID5存储系统的响应时间和性能影响因素进行分析。网络 存 储 系 统 实 验 环 境 是 由 4 台 运 行 Linux7.3 操 作系 统 的 PC 机 组 成 的 一 个 网 络 RAID5 存 储 系 统 ， 其网 络 拓 扑 参 见 图 1。 PC 机 的 配 置 为 P III 650 CPU， 64MB 内存，10/100Mbit/s 网卡，36GB IBM DDYS-T36950 SCSI 磁盘，磁盘为 4M
20、B 缓存，4.9ms 平均寻道时间，2.99ms 平均延迟，磁盘的最大持续传输速率为 35Mbit/s。存储中心服务器条纹单元的大小为 16KB, 一个条纹包含 3 个条纹单元，单个任务处理的数据量为 200MB。以太网的带宽为 100Mbit/s， TCP 最大分段大小为 1460B，以太帧的大小为 1518B。此外，CPU 平均处理时间Tmpro、T mp、T snpro、T snp 分别取实际测试的平均值0.027ms、0.045ms、0.033ms 、0.028ms。图 3 为上述网络存储系统实验环境中，在并发写操作时系统响应时间和并发任务数的实际测试值和采用性能分析模型所获得的理论边
21、界值的对比图。从图中可以看出，从性能分析模型获得的理论边界值在不同的并发任务数时，都准确的反映了实际响应时间的变化趋势和其性能边界。在上面验证的基础上，下面利用所建立的性能分析模型，对网络 RAID5 存储系统响应时间的性能影响因素进行深入分析。图 4 为网络 RAID5 存储系统写操作时响应时间、并发任务数与网络带宽之间的关系图。从图中可以看出，网络带宽在并发任务数较高时是影响网络存储系统响应时间的主要因素，但在并发任务数较低时，对响应时间的作用不明显。图 5为网络 RAID5 存储系统写操作时响应时间、并发任务数与存储中心服务器缓存命中率之间的关系图。和网络带宽的作用不同，从图中可以看出存
22、储中心服务器缓存命中率在不同并发任务数时，对系统响应时间的影响作用很明显，没有因并发任务数的不同而波动。图 6 为网络 RAID5 存储系统写操作时响应时间、并发任务数与存储中心服务器 CPU 单个任务处理时间的关系图。经过对上图的分析可以看出，在并发任务数较小时，随着CPU 处理性能的提高，系统响应时间在降低；而当并发任务数较大时，CPU 处理性能的高低对系统响应时间变的没有影响了。图 7 和图 8 分别为网络 RAID5 存储系统写操作时响应时间、并发任务数与存储服务器 CPU 单个任务处理时间的关系图，以及响应时间、并发任务数与存储服务器中磁盘最大持续传输速率的关系图。和前面几个影响因素
23、不同，在不同并发任务数时存储服务器CPU 性能和磁盘性能对系统 I/O 响应时间的影响很小。通过上述分析可知，在并发任务数较低时，存储中心服务器 CPU 处理能力是系统响应时间的关键性能影响因素，通过提高存储中心服务器CPU 处理能力的方法可改善网络 RAID5 存储系统的性能；而网络带宽则是非关键性能影响因素，它对系统响应时间的影响较小。而在并发任务数较高时，网络带宽则成为关键性能影响因素，通过提高网络带宽可有效改善系统的响应时间，而CPU 处理能 力 则 变 为 非 关 键 性 能 影 响 因 素 ， 它 对性 能 的 影 响 变 的 很 小 。 除 此 之 外 ， 存储中心服务器的缓冲区
24、命中率图 3 网络存储系统的实测性能与理论性能图 4 响应时间、并发任务数与网络带宽的关系第 1 期 崔宝江等：网络存储系统 I/O 响应时间边界性能研究 5图 5 响应时间、并发任务数与缓存命中率的关系图 6 响应时间、并发任务数与存储中心服务器 CPU 性能的关系图 7 响应时间、并发任务数与存储服务器 CPU 性能的关系图 8 响应时间、并发任务数与磁盘最大持续传输速率的关系在 不 同 任 务 数 时 都 是 影 响 系 统 性 能 的 关 键 因 素 ，而 存 储 服 务 器 CPU 性 能 和 磁 盘 性 能 则 在 不 同 任务 数 时 对 系 统 I/O 响 应 时 间 的 影
25、响 都 很 小 ， 属 于非 关 键 性 能 影 响 因 素 。 上 述 网 络 RAID 存 储 系 统因 素 的 一 种 有 效 手 段 ， 在 优 化 系 统 性 能 时 ， 可 基于 上 述 分 析 结 果 着 重 考 虑 改 善 关 键 性 能 影 响 因 素 ，忽 略 非 关 键 性 能 影 响 因 素 ， 即 可 达 到 事 半 功 倍 的效 果 。表 1 表题为小五黑居中表文六号 表文六号 表文六号 表文六号表文六号 表文六号 表文六号 表文六号表文六号 表文六号 表文六号 表文六号（表题小 5 号黑体，表格内容 6 号宋体，三线表，上下线为反线(即 0.75 磅)，中间为正线
26、（即 0.5 磅）5 结论由 于 存 储 网 络 的 引 入 ， 使 影 响 网 络 存 储 系 统性 能 的 因 素 更 加 复 杂 。 为 了 定 量 的 分 析 网 络RAID 存 储 系 统 的 I/O 响 应 时 间 ， 并 区 分 各 种 影响 因 素 对 系 统 性 能 的 影 响 程 度 ， 本 文 通 过 对 网 络RAID 存 储 系 统 数 据 传 输 过 程 的 分 析 ， 建 立 了 其排 队 网 络 模 型 ， 并 在 此 基 础 上 提 出 了 网 络 RAID存 储 系 存 储 系 统 数 据 传 输 过 程 的 分 析 ， 建 立 了 其排 队 网 络 模 型
27、 ， 并 在 此 基 础 上 提 出 了 网 络 RAID存 储 系 因 素 。 存 储 服 务 器 的 CPU 处 理 能 力 和 磁盘 的 最 大 持 续 传 输 速 率 对 系 统 性 能 影 响 很 小 ， 是非 关 键 性 能 影 响 因 素 。参考文献：（“参考文献”题名为 5 号黑体，占 2 行）1 BARVE R, SHRIVER E, GIBBONS P B. Modeling and optimizing I/O throughput of multiple disks on a busA. Proceedings of Sigmetrics 98/Performance
28、98C. New York: ACM Press,1998. 264-275.2 LU Y P, DAVID H C D. Performance study of iscsi-based storage subsystemsJ. IEEE Communications Magazine,2003,41(8): 76-82.3 HE X B, BEEDANAGARI P, ZHOU D. Performance evaluation of distributed ISCSI RAIDA. Proceedings of the 2003 IEEE/ACM International Worksh
29、op on Storage Network Architecture and Parallel I/O (SNAPI03)C. New Orleans, LA, USA, 2003.4 WEE T N, HILLYER B K, SHRIVER E, Obtaining high performance for storage outsourcingA. Proceedings of Conference on File and Storage Technologies (FAST 02)C. Monterey, California, 2002. 145-158.5 ZHU Y L, ZHU
30、 S Y, XIONG H. Performance analysis and testing of the storage area networkA. 19th IEEE Symposium on Mass Storage Systems and TechnologiesC. Maryland, USA, 2002.6 LAZOWSKA E D, ZAHORJAN J, GRAHAM G S, et al. Quantitative 6 通 信 学 报 第 27 卷崔宝江（1973-） ，男，山东东营人，博士，北京邮电大学讲师，主要研究方向为数据安全、网络攻防、网络存储。（作者简介内容为：
31、人名、出生年、性别、出生地、学位和研究方向）刘军（1963-） ，男，河北香河人，南开大学博士生，天津财经大学副教授，主要研究方向为网络存储、并行与分布式系统等。王刚（1974-） ，男，北京人，博士，南开大学副教授，主要研究方向为数据布局、并行与分布式系统。刘璟（1942-） ，男，北京人，南开大学教授、博士生导师，主要研究方向为并行与分布式系统、海量存储、算法设计与分析。System Performance: Computer System Analysis Using Queueing Network ModelsM. Englewood Cliffs, NJ: Prentice-Hal
32、l, 1984.7 郑少仁等. Ad hoc 网络技术M. 北京：人民邮电出版社, 2005.ZHENG S R, et al. Ad Hoc Network TechnologyM. Beijing: post Telecom press, 2005.8 马建仓等. 蓝牙核心技术及应用M. 北京：科学出版社, 2003.MA C J, et al. Bluetooth Core Technology and ApplicationM. Beijing: Science press, 2003.（“参考文献”中文内容为 6 号宋体，英文内容为 6号 Times New Roman；文献是中文的，请附加中文的译文。例如：文献7、文献8 类型文献 ）作者简介：（小 5 号黑体）（作者简介格式参照以下）请各位作者注意：对于您给本刊提供的作者照片，必须清晰，裁剪整齐（黑白证件照片，大小：高 3 厘米，宽 2 厘米，可以参照以上照片） ，否则照片刊登效果不佳。
