网络层面照相用图建模中文版2.doc-道客多多

资源描述

1、网络层面照相用图建模摘要：对于我们理解网络的动态特征，链路级的性能数据，如损失率和各个环节的延迟，是至关重要的。实现这一目标的方法之一是凭借终端到终端的测量去推断性能特点。由于其效率和准确性的优势，我们使用图形模型，代替了使用传统的统计数据做推论的方法。以网络模拟器 2（NS2）为基础进行模拟，由期望最大化推断（EM）算法收集数据，其结果几乎与先前提出的最大似然估计所产生的结果相同。关键词：网络断层扫描，图形模型，网络的性能。1. 引言为了成功地设计，控制和管理网络，我们必须对于网络的特征有更好的了解，特别是对于数据链路层1的了解。级别链接的特征，如丢包率和平均延迟，将有助于我们了解从各种在传

2、输介质的应用中累计流量所带来的影响。这促使一些团体调查研究方法，以此在终端至终端网络测量234 56的基础上，即所谓的网络断层的问题，来推断出内部网络行为。人们常用的一个来解决此问题的办法是，在一个或几个正在进行的流量交通（后来被称作背景流量）节点上增加探测数据包，此探测包特定于数个接收器。这些接收器上的探测数据包的接收或者丢失表明相应链接上的流量交通条件。这种方法依赖于统计推断得到链路级的特点。在本文中，我们建议使用图形模型进行推理。最近，卡塞雷斯等人成功地利用该方法通过终端到终端的测量6，7，8获得数据丢失信息。他们建立了一棵组播树，通过目标网络传播，探测数据包基于定期或指数的基础从树的根

3、部组播至叶节点。连接至叶节点的接收器纪录下到达的探测数据和未到达的探测数据，并为进一步的分析提供数据。在分析过程中，这些数据放在一起，估算各个环节的损失率。他们推理中使用的方法基于传统的最大似然估计（MLE），即使用探测数据包丢失的部分来估计背景流量交通的损失概率。无论是对于组播主干网的模拟还是对于其实验研究都表明了该方法的可行性和潜力。最近，由于某些网络可能无法使用组播，Harfoush 等人建议使用单播来发现链路级性能 9。他们使用分组配对技术在两个接收器之间建立相关性。两个及时被分离的数据包被发送到两个接收器（这两个接收器从源头共享路径的一部分），并在这两个接收器之间建立相关性，然后在

4、观察这两个接收器的基础上，他们可以使用基于组播研制的技术来识别共享及不共享路径上的损失率。他们的模拟证实了其方法的有效性。同样，科茨和诺瓦克也采用了分组配对技术来推测链路级的特点。他们用期望最大化推断算法（EM 算法）来推测链接的数据包之间的相关性，以及相关链接的损耗特性10。我们使用图形模型（GM）推断链路级行为,而不是使用传统的最大似然估计（MLE）来推测链路级的损失率。在 11中发现的模型可以用来作为一个链接的先验概率，然后被用来从观察中推断后验概率。每次当一个新的观察变得可行，这个过程便重复一次，这使系统适应流量的变化。这个过程确保了所有先前到目前的观测资料都能在目前观测到的资料中得到

5、总结。我们进行了初步研究，使用网络模拟器 2（NS2 ）12来模拟一个包括 8 个节点和 7 个链接，并把 8 个节点连接成一个树状结构的网络。一个包含传输控制协议（TCP）和用户数据包协议（UDP）流量的组合被添加到不同的节点作为背景流量。定期从根部到 4 个叶节点发送探测数据包。通过收集在 4 个叶节点得到的探测信息，并使用图形模式（GM）论及损失率来推断 7 个链接的链路级特性，我们发现推断的结果表明了背景流量的损失率。此外，通过比较我们得出的结果与使用在678中提出的最大似然估计（MLE）获得的结果，并在消除最大似然估计（MLE）在一些链接上产生的负损失率异常情况后，发现两者几乎是相同

6、的。这反映了图形模式（GM）的可行性和准确性。本文的其余部分组织如下。在第三部分里，我们提供了图形模式（GM）的根本原理并将其应用来发现链路级的特点。然后，我们在第二部分提出我们的研究，包括流量交通涵盖的细节，并将不完整的观测研究得到的结果与模拟器收集到的实际数据进行了比较。最后一节是专门的结束语。2. 图形模型和参数学习一个图形模式（GM）是由一个三元元组（X, S, P）限定的，其中 X=X1, X2， Xn 是一组变量， S 为图形模式（GM）结构，它限定 X 变量之间的偶然影响，这些影响力是由条件概率 P 量化的。这些影响由一系列的条件概率 p (Xi|Pai)衡量，对于每一个子变量

7、Xi，配置一个母变量，以 Pai 表示。结构 S 描述变量之间的独立性和依赖性。给定一个 X 的样本中，x=x1，x2，. xn ，联合概率可以通过公式：得到，其中 ij 表示 Pai 在 X 中的状态。如果一个节点，比如说 i，没有母节点，那么 p(Xi= xi|Pai=ij)=p(Xi=xi)。公式（1）表明：无论图形模式（GM ）多么复杂，特定所有节点的状态，联合概率是由所有链接的条件概率产物所代表的，这个产物表明了母节点对子节点的影响。这种分解消除了自变量之间的相互影响，并大大降低了联合概率计算的复杂性。事实上，图形模式（GM）之间有个 1 对 1 的映射，以此来推断链路层的特点，并有

8、用来发送探测数据包（NPP）的网络。这两个网络使用相同的结构，图形模式（GM）中的每个变量对应 NPP 中的一个链接，图形模式（GM ）弧的条件概率对应于链路级特性，如 NPP 中的损失概率。此外，每个发送到叶节点的探测器可看作一项试验，这项试验的结果是对在每个节点 d=d1,d2,dn发生的相应事件的配置。如果对于一项试验，每个节点只有两种可能出现的状态，1 和 0，其中 1 表示该节点收到探头，0 表示该节点没有收到探头。对于具有 n 个节点的系统来说，一个完整的样本空间有 2 n 种可能的配置。如果考虑到相应的无回路有向图(DAG)的结构描述，可能配置的数目大大小于 2n 。例如，假定如

9、图 2 所示的图形模式（GM）有 4 个节点。当一个探头从 X0 至 X2 至 X3 组播时，只有 5 种符合条件的配置，分别是 1,0,0,0，（1,1,0,0 ），1,1,1,0 ，1,1,0,1和1,1,1,1，而不是 2 4= 16 种。据统计，数据显示的内容可以由下面的对数似然表示：其中 D 表示一组观察，D = d 1, d2,dm，每一个参数表示一项试验; 表示一组参数，（1 ，.，n ），每一个参数为一个链接，它确定了这个链接相应的条件概率。可以根据配置将 D 进一步分组，组中的每一个成员都具有相同的配置。设 n (d)是一个函数，它用配置 d 算出组的大小。所有可能的配置形成

10、一个配置空间，空间由 c 表示。我们的目标是根据所给出的观察，找到可以使 L（）最大化的，即：然而，在实践中有许多情况阻止我们收集到完整的数据集，如我们正在研究的这个问题，不能得到内部节点的状态，至少不能直接得到。在一些情况下，我们可以从不完全（部分）数据中很容易发现内部节点的状态。例如，如果一个接收器接收到一个探头，我们可以得出这样的结论：它的源节点一定接收这个探头。不过，推断出同步损失的原因并不容易，是指这样的一种情况：一个组播探头完全失去与连接到子树的所有接收器的联系，这个子树至少有两个子接收器。困难之处在于对同步损失原因的不确定，可能是在子树与其母体的链接处单独的损失，也可能是在一个

11、切口的所有链接处的平行损失。这个切口可以将子树分为两个部分，其中一部分是另一部分的母体和先祖。图 1：可观察空间 y vs. 隐藏空间 x例如，图 2 显示了一个简单的子树，有四个节点（分别为 X0-X3）和三个链接（l 1-l3），其中l 1,(l2,l3)是子树的两个切点。显然，从上述情况发现条件概率较之从完整的数据集发现更加困难，因为我们必须考虑所有可能导致相同观测结果的原因所带来的影响。尽管如此，一些基于不同原理的方法，例如神经网络，期望最大化（EM），等等，已经发展起来，用来解决这个问题。为了从不完整的数据 y 中得出条件概率，我们首先要确定所有可能产生 y的内部状态配置 x。设

13、d|)，正如先前所定义的，是联合概率。第一项代表在链接 l1 发生的损失，而第二项代表在链接 l2 和 l3 上发生的平行损失。期望最大化（EM）基于相同的原理来估计隐藏状态，假设 f(x,y|)为指定的函数族，其中的一个函数支配着完全样本的产生，又设 y(y|)为指定的函数族，其中的一个函数支配着不完全样本的产生。f 和 y 与下述公式有关，为了找到一个指派的可以使公式（2）最大化的，期望最大化（EM）方法通过必要地利用相关的函数族 f(x,y|)13来实现这一目标。这是一个反复的过程，在隐藏/失踪变量的数值（预期值）上操作，而这些数值由足够的预期数据得来。在数学上，它可以由下面的公式描述

14、：公式（5）显示了两个步骤的过程，以更新条件概率，即 E 步骤和 M 步骤。E 步骤计算未知变量的预期值，M 步骤最大化的概率，即：这是一个单调增加的过程，当重合时停止。期望最大化（EM）算法可用于识别不同图形模式（GM）的条件概率，这些图形模式中一个变量可以有多个母体和多个根部。3实验结果为了证明图形模型的有效性，我们在网络模拟器 2（NS2）上建立了由 7个链接（命名为 1-7 链接）连接的 8 个节点的仿真环境，成树状结构，如图 3所示，并进行了一系列的测试。图 3：网络结构链接 1 有 3 兆位（Mbps）的带宽，2 毫秒（ms）的传输延迟；链接 2 和 3 也有 3 兆位（M

15、bps）的带宽，但传输延迟为 10 毫秒（ms）；而其他 4 个链接的带宽和传输延迟分别为 1.5 兆位（Mbps）和 10 毫秒（ms）。所有节点都有一个先入先出（FIFO）队列，除了节点 1 有一个 20 个数据包的限制，所有其他节点最多可以有 10 个数据包在同一时间排队。所有节点都使用丢弃队列尾部的政策（droptail 政策）来处理拥塞，即当队列已满，新来的数据包即被丢弃。探测数据包，每个 40 字节（ bytes），定期由根部到附加到叶节点的接收器组播开来。背景流量包括： 1两个传输控制协议（ TCP）流，窗口大小= 50，数据包大小= 1 千字节（KB），流量分别从节点 0 传输

16、到节点 4 和节点 5； 2.一期突发流，突发时间为 400 毫秒（ms ），空闲时间为 300 毫秒（ms），二进位制信息传输率（bit rate）为 1000k，数据包大小为 200B，从节点 0传输到节点 4; 3.一期突发流，突发时间为 300 毫秒（ms ），空闲时间为 300 毫秒（ms），二进位制信息传输率（bit rate）为 800k，数据包大小为 200B，从节点 0 传输到节点 5; 4. 一期突发流，突发时间为 300 毫秒（ms ），空闲时间为 200 毫秒（ms），二进位制信息传输率（bit rate）为 400k，数据包大小为 500B，从节点 1 传输到节

17、点 6; 5. 一期突发流，突发时间为 200 毫秒（ms ），空闲时间为 200 毫秒（ms），二进位制信息传输率（bit rate）为 400k，数据包大小为 500B，从节点 1 传输到节点 7; 6.一个文件传输协议（FTP）流，窗口大小= 60，数据包大小= 600，从节点 0传输到节点 4; 7. 三个文件传输协议（ FTP）流，窗口大小= 60，数据包大小= 600，分别从节点 0 传输到节点 5,6,7;其中突发时间和空闲时间成指数分布，而且上述提供的数据由对应的指数分布得来。除第二组从 0s 开始 ,50s 暂停,而在 80s 继续外，所有其他数据流都是从0s 开始到 95

18、s 停止。我们在这项研究中感兴趣的是在每个链接端通过终端到终端的测量方法得出数据包损失率。图 3 中 i, i1, , 7代表了在 i 端的数据包损失率。在根部 0 节点处加入了一个组播代理，定期将数据包组播到 4 个叶节点。每个探测数据包都有一个序列号，然后根据序列号，接收器可以识别探测数据包是否丢失，如果是的话，可以识别它在探测流中的位置。图 4：链接 1 的损失率（探测间隔 =0.01s）图 5：链接 4 的损失率（探测间隔 =0.01s）图 6：链接 5 的损失率（探测间隔 =0.01s）实验在模拟环境下进行，两个探测数据包间隔时间为 0.01s。实验过程中，我们根据 4 个接收器

19、收集的数据每 5 秒做一个推断，模拟器使用相同的时间间隔收集实际的链路级数据，每个节点都有数据包发送和丢弃。我们将通过模拟收集到的数据称之为实际结果。链接 2，3 ，6 和 7 所推断的结果与实际结果完全相配，因为这些链接负载较轻。图 4 至 6 分别显示了其他 3 个链接，即链接 1，链接 4，链接 5 中推断结果与真实结果之间的差异。虽然这些图表中推断结果和实际结果有一些差异，推断结果仍然正确地显示了背景流量的损失趋势，特别是当第二组流量暂停时。为了与6，7 ，8中提出的最大似然估计（MLE）相比，我们将在这个图表中使用最大似然估计（MLE）产生的结果也包括在内。如上所示，这两种方法几乎产

20、生了相同的结果。然而，由于最大似然估计（MLE）中的一个错误不断在链接 2 上产生负损失率，上述结果是在我们将链接 2 损失率设为 0 的情况下提出的。该错误是因为使用频率来代替概率，其中的一个公式不是一个最大似然估计（MLE ）。3. 结论在本论文中，我们提出了一种新的方法，通过终端到终端的测量来推断链路级的特点。这一推论的方法建立在图形模式之上，它将链路级性能问题映射到一个图形模式（GM）学习问题之上。通过利用一个图形模式（ GM）从不完整数据中学习不确定/隐性知识，可以发现链路级特性。本文最初的结果表明基于贝叶斯方法能产生合理且准确的结果。我们相信这种技术将是对当前通过终端到终端的测量研究网络性能的补充。提出的这种方法（MINC 方法）也通过组播来获得网络数据，依赖于图形模型，它的推断技术非常独特。图形模型本身在数学上是非常健全并具有吸引力的。它的吸引力在于它能够从不完整的数据中得到链接的条件概率和链接形成的结构。在本文中，我们展示了它的第一个能力，即在一个平衡树上推断出损失率。然而，在这个方向还有许多工作有待完成。我们正在调查从数据中推断出结构的方法，以及除了使用组播来获得背景流量样本的其他方法。

展开阅读全文