1、浅谈以太环网在塘沽承载网中的应用作者： Ang Yang(昂阳) Li Lin(李林) Wang Li-li（王莉莉）作者单位：中国联合网络通信有限公司天津市塘沽区分公司 ，天津市 塘沽区 300450摘要：以太环网作为一种新型网络在塘沽城域网中进行试商用，主要对以太环网如何应用，网络构架需要进行如何规划等方面展开分析讨论，同时对于前期已经投入使用的 RPR 环网进行简单介绍。关键词：以太环网，RPR，以太网，城域网作者简介：昂阳 （1979） ，男，汉，天津，学士，中国联合网络通信有限公司天津市塘沽区分公司，网络维护工程师，李林（1980） ，男，汉，四川，学士，中国联合网络通信有限公司天津
2、市塘沽区分公司，网络维护工程师王莉莉（1975）女，汉，四川，学士，中国联合网络通信有限公司天津市塘沽区分公司，网络维护工程师正文：一、以太环网产生背景随着互联网蓬勃的发展，互联网技术也在迅速更新，互联网业务种类也在不断地增加，用户量也变的越来越庞大了，这些对互联网运营商组建的承载网要求越来越高。骨干网层面多业务承载的讨论尘埃落定,各大运营商采用了单独建网或者单/多业务网承载方案解决了多业务在骨干网层面的承载问题。城域网作为骨干网络的延伸,是业务的接入和汇聚的平台,是下一代网络落地的关键点,是运营商业务收入的主要来源,因此城域网的多业务承载将成为下一阶段各运营商网络优化和改造工作的重点。当前城
3、域网按照组网的设备可分为以高速路由器为主的路由型城域网和以高速三层交换机为主的交换型城域网两类。现网中普遍存在问题有以下四点: (1)二层交换网络大,网络结构复杂,层次过多,QOS 支持能力较弱,网络故障恢复慢,不能满足将来的业务在 QoS 和可靠性方面的要求。 (2)带宽的增长永远无法满足用户需求和业务的要求。 (3)旁挂式 BRAs 带来的网络可靠性低、效率低、端口浪费、制约带宽等种种问题。 (4)树型结构的网络拓扑使网络整体缺乏链路保护，致使网络安全性不高。为了解决现在城域网的问题,必须对现有城域网络进行合理的规划和优化,制定合适多业务承载能力的下一代 IP 城域网，电信级以太环网。下面
4、我们将结合塘沽的 10G 以太环网的试商用进行以太环网在电信运营商网络中的构架以及应用方面的分析与讨论。二、以太环网的构架1、 以太环网技术的提出电信级以太网又称运营商级以太网（CE ，CarrierEthernet） ，最早由城域以太网论坛（MEF）在 2005 年年初提出 。其具备以下两方面的特征：（1） 、电信级以太网主要以网络能够支持的以太网业务类型和业务所能够达到的性能为衡量标准，并不专指某种网络技术 （2） 、电信级以太网要求具体的技术满足五大属性，这些属性本身即具有鲜明的面向业务的特征，如能够提供标准化的业务、在业务带宽和业务规模上均具有可扩展性，提供业务的可靠性、QoS 保证和
5、电信级的网络管理。 2、 不同厂家之间的以太环网构架区别根据以太环的特点和技术要求,各个厂家都开发出了自己的解决方案.a) 华为华为 3COM 的推出的以太环网技术是 RRPP（RapidRigProtectioProtocol ，快速环网保护协议） 。RRPP 技术是一种专门应用于以太网环的链路层协议，它在以太网环中能够防止数据环路引起的广播风暴，当以太网环上链路或设备故障时，能迅速切换到备份链路，保证业务快速恢复。与 STP 协议相比，RRPP 协议具有算法简单、拓扑收敛速度快和收敛时间与环网上节点数无关等显著优势,基于 RRPP 的以太环网解决方案可对数据，语音，视频等业务做出快速的保护
6、倒换，协同高中低端交换机推出整体的环网解决方案，为不同的应用场景提供不同的解决方案。b) 中兴中兴公司则推出了电信级以太网解决方案中兴智能以太网技术 ZESR（ZTE Ethernet Smart Ring ） 。ZESR 技术允许网络管理员创建以太网环，其方式类似于光纤分布式数据接口（FDDI ）或 SONET/SDH 环。ZESR 可以在不到 50 毫秒时间内，从任何链路或节点故障中恢复过来。ZESR 协议在实现上借鉴了 802.1w 的一些基本思想，如 MAC 地址学习与更新的功能。ZESR 具有链路无关性，只要是以太网链路，就可以轻松部署 ZESR 环网。中兴 ZXR10 高端交换机上
7、支持 ZESR 功能，其主要特点为 :保护倒换时间50MS,成本较低,扩展性好,能保持上层业务的完整性,支持原有以太网 QOS 平滑过渡,带宽利用率较高,能与VRRP、OSPF、BGP 等多种三层协议共存，也可与 STP、 RSTP 等二层协议共存。ZESR 可通过任何支持 802.1Q 的设备隧道传送协议帧数据。 ZESR 也可以通过第二层多协议标记交换(MPLS)隧道传送协议帧数据，从而实现与 MPLS 的共存。c) 北电北电则提供了基于高速以太环网的用户接入和汇聚解决方案 OESS。OESS 采用环形拓扑结构，对组播业务(如 BTV 等) 的支持具有许多优势，包括组播数据流复制有效性、链
8、路保护倒换特性等等。OESS 还可以为组播应用保护与预留专用的网络带宽。在环形结构下区别利用环内正反向带宽，从而可以在最有效地保证组播应用的同时最大限度地实现环路带宽的高效利用。d) 烽火烽火网络提出的 MSR(多业务环) 是一个双向对称二纤环，至少由两个节点组成。每个节点可以上下一个或多个独立的支路(如以太网、千兆以太网、DVB 、POS/ 或 ATM 端口) ，也能够发送和接收 3 层(IPv4/IPv6) 转发数据包( 类似路由器 )、控制信令分组和网络管理分组。它既可支持以太网、千兆以太网、数字视频广播(DVB)、ATM、POS(PacketoverSONET/SDH)等业务支路，也可
9、以像路由器一样支持数据包的转发。MSR 集传输和数据交换于一体，并且支持业务的点到点、组播和广播应用，原理上相当于一个多业务分插复用设备组成的环。MSR 架构在 RPRMAC 层之上，继承了 RPR 诸如空间复用、分布式带宽管理与拥塞控制功能、COS 级的业务质量，多业务支持，电信级的保护倒换以及自动拓扑发现等等诸多的优秀特性。各厂家的实现技术细节虽然不同，但最终都统一在以太环网的几大基本属性下，同时部分厂家也加入了一些自身的创新因素。3、 电信运营商对电信城域网络优化建设的要求与实现（1） 、可靠性方面要求原有城域网优化改造的指导思想，BRAS 以下为二层汇聚网络，目前组网方式很多，主要是以
10、 SDH 为基础的多业务传输平台(MSTP)和星型以太网两种方式为主。星型以太网：网络响应时间、保护机制以及对组播应用的支持方面还存在很大不足，难以支持包括 IPTV 等业务在内的多业务承载。网络故障恢复速度慢。SDH 以太网：虽然解决了 50 毫秒的故障切换问题，但大容量端口成本高，其结构特性决定其只能作为以语音为主，数据为辅的网络应用。以太环网作为一种城域以太网技术，解决了传统数据网保护能力弱、故障恢复时间长等问题，理论上可以提供 50ms 的快速保护特性，同时兼容传统的以太网协议，是城域宽带接入网优化改造的一种重要的技术选择和解决方案。（2） 、服务质量方面要求早期的以太网在局域网内主要
11、承载数据业务，数据业务的特点是对时延不敏感，TCP 的重传机制又可以容忍以太网上少量数据包的丢失，因此不需要差异化的服务质量保证。但对于电信级以太网技术，由于其需要承载综合业务，这种不区分流量类型的 Besteffort 服务难以保证业务的质量。运营级以太网交换机通过 Diff-Serv（区分业务体系结构）实现 QoS，其具体实现过程包括流分类、映射、拥塞控制和队列调度。（3） 、安全性方面要求传统以太网的安全问题已经通过 VLAN 技术划分虚拟网段得到解决。但随着互联网的发展，近年来网络经常遭受蠕虫等网络病毒以及黑客的攻击，全网瘫痪的案例时有发生，合法用户的有效带宽、用户的信息安全难以得到保
12、证。因此在建设电信级以太网时，必须考虑如何保证网络的安全性。比较常见的以太网安全解决方案是通过 ACL（访问控制列表）或者过滤数据库来过滤非法数据；端口镜像技术可以将任一端口的输入输出流量复制到指定端口输出，帮助网络管理者监控网络的数据内容；一些高端的网络设备具有强大的应用感知和网络级自动免疫能力，能够一定程度地自动感知并过滤不安全的数据流。4、 以太环网技术的演变随着 MPLS VPN、NGN 、IPTV 等新业务的不断成熟和规模商用，城域网也由单一的宽带 Internet 访问业务向能够接入并可靠承载数据、分组语音/视频和流媒体等的多业务综合 IP 城域网发展。新的 IP 城域网的设计规划
13、需要综合考虑宽带用户接入、各类多媒体业务承载对网络的严格要求，综合使用 QinQ、MPLS、组播、TE 等新技术保障多业务的综合承载和传输。三层到边缘是目前以太城域网的一种常见形式。业务节点分布式布署，MPLS 推进到ME 网络边缘，业务的布署尽量靠近用户，网络保护通过 IGP/LDP 快速收敛以及 TE FRR等技术实现，这种方式可以骨干网和城域网采用统一的 IP/MPLS 技术实现，并且通过可管理的 L3 转发（各种路由协议以及可靠性机制）防止了二层网络不可控制的缺点，网络技术都为标准技术，互通性/扩展性好，而且管理简单，布署方便。什么是三层到边缘呢?城域网由一个或多个 ME 区域组成，每
14、个 ME 区域包括 NPE，BRAS,一个或多个 UPE 环网或者多个 UPE 组成的树型网。城域网 CORE 作为整个城域网的核心设备，往上连接国家骨干网或者省干设备，往下连接 ME 区域的 NPE 设备，CORE 之间可以采用 Full Mesh 或者半网状相连，接口至少是 10G POS/GE 互连。NPE 是 ME 区域的核心设备，上连城域网的 CORE，下连 ME 区域的 UPE 环或树，旁挂 ME 区域的BRAS。UPE 作为单个 ME 区域中的 PE 设备，负责接入 DSLAM、以太网交换机、MSAN以及 VPN CE 设备；多个 UPE 设备和 NPE 组成一个 UPE 环；和
15、 NPE 相连接口是2.5G/10G 接口，下行和 DSLAM 是 GE 接口。BRAS 作为某个或者多个 ME 区域的家庭用户 PPPOE 业务认证设备；BRAS 下行和 NPE 以 10G 端口相连,上行以 10G 端口直接连接CORE 设备。方案采用三层到边缘的策略，VoD 业务通过 DHCP 获取 IP 地址，UPE 通过DHCP relay 终结 DHCP 用户， VoIP 和 HSI 业务采用 PPPoE 的方式接入，这两种业务透传到已有的 BRAS 上。三、RPR 环网架构RPR（弹性分组环）技术是在双环结构上的二层 MAC 层协议，对分组数据业务及 IP数据业务提供业务接入和透
16、明传输。它通过两种方式存在，即基于 SDH 的嵌入式 RPR 和纯粹的 RPR。RPR 技术具有下列特点：1、 物理层无关性和支持大环网（逻辑环）：RPR 可在一系列物理层上工作，如SDH/SONET、 GE/10GE、DWDM，理论上支持环上存在多达 250 个网元节点；2、与 SDH 相当的 50ms 快速保护倒换：具有二层 RPR 保护；3、与以太网同样优秀的广播业务支持；4、空间复用技术：RPR 在目的地址上将包从环路上剥离，实现包 Add/Drop；5、具有统计复用和流量管理能力：RPR 传输以数据业务为主时，带宽利用率可提高 2-8 倍。6、具有 MAC 流量控制的三个 QoS 级
17、别；7、拓扑自动发现；8、支持接入控制与全环公平机制。9、在 RPR 环上可以利用源节点发送数据包的速率来控制上游节点和下游节点速率。带宽策略允许在无拥塞的情况下，把环上任意两个节点之间所有的带宽分配给这两个节点。10、RPR 在业务处理速度、扩展性、 QoS、保护倒换时间、带宽利用率、端口保护措施、抑制广播风暴、拓扑自动发现等多方面都具有较强优势。11、 RPR 的重要缺陷在于它不支持 TDM 业务，为了实现 TDM 业务和数据业务同网传输，引入了基于 SDH 的 RPR 技术，如将 SDH 网中的 N 个 VC-4 级联，组成一个 RPR，从而融合 SDH 和 RPR 的优点。四、塘沽以太
18、环网构架1、 塘沽网络构架的发展演变塘沽早期的网络建设主要为根据不同业务类型的接入设备上联至相应的汇聚设备。主要问题在于接入设备上联路由缺乏保护，上联通路带宽利用率较低，汇聚设备端口占用数量大，端口资源紧张。早期的网络构成如图 1：本地核心路由器本地 IP 城域网汇聚路由器本地 BRAS 本地 IP 承载网汇聚交换机光纤宽带接入交换机EPOM 设备 AD 设备 AG 设备 NGN 本地网图 1如图可以看到,早期的网络接入设备均直接连接至汇聚交换机或路由器,随着网络规模的不断扩大,需要大量的中继光缆和汇聚设备端口资源，对于逐步大规模发展的EPON/GPON/AG 等多业务综合接入设备，更是需要大
19、量的光缆和端口资源，而设备端口带宽利用率明显偏低。对于较远接入的接入设备，由于局间中继为纯物理光缆，在多跳接光路上缺乏保护机制，光路故障点也不易判断。随后我们引入了华为 CX 系列的 Gbit RPR 环，由于带宽限制，仅作为 EPON/AG综合业务接入的汇聚。RPR 环的引入极大的提升了小区和大客户综合业务接入的便利和安全性。有效提高了 BAS 端口的使用效率和网络带宽占用率。其组网方式如下图2：本地核心路由器本地 IP 城域网汇聚路由器本地 BRAS 本地 IP 承载网汇聚交换机光纤宽带接入交换机EPOM 设备 AD 设备 AG 设备 NGN 本地网图 2骨干路由器Gbit RPR 环EP
20、ON/AG 等综合接入设备，可以就近接入 RPR 环，通过 RPR 环连接至宽带和语音汇聚设备。通过详细的 VLAN 规划配合 QOS 确保不同业务的服务质量。而且由于综合接入设备的就近接入,在通过 RPR 环接入汇聚设备的路径上可以实现业务的环保护,降低缆线故障影响业务的几率。对于汇聚设备端口也可以根据 RPR 环的带宽能力和下挂业务规模来按需规划 RPR 环上联链路数量和带宽，有效减少了占用汇聚设备端口数量，提高了网络的使用效率。在 RPR 环的应用中我们充分感受到了环网保护的一些优势，但 Gbit 环网的带宽限制使得本批 RPR 环还无法实现真正的全业务综合接入，对于大量 10、100M
21、 光纤接入用户还难以承载。随后我们又引入了华为和中兴的 10G 以太环。对网络结构进行了进一步的调整。通过大二层汇聚交换机对汇聚局本地及附近 IP DSLAM 进行汇聚，利用以太环网对外围局站进行全业务汇聚接入。并逐步让 EPON/.GPON 技术替代现有的光纤宽带接入交换机+光猫的大客户宽带接入方式,让用宽带业务开通更为便捷和安全。如图 3 所示本地核心路由器本地 IP 城域网汇聚路由器本地 BRAS 本地 IP 承载网汇聚交换机光纤宽带接入交换机IP DSLAM EPON/GPON AG 设备 NGN 本地网图 3骨干路由器Gbit RPR 环10Gbit 以太环网大二层汇聚交换机对比分析
22、新旧网络构造,我们可以看到新的网络结构相对以前本地核心，汇聚，接入的三层结构，增加了一个二层汇聚传输层。主要依赖于 RPR、以太环网以及 QINQ的技术，满足了全业务的就近局站接入，并在汇聚路径上由于环网的自动倒换保护而具备了较高的安全性。汇聚设备的端口资源也能更为有效的利用。2、 塘沽以太环网构架在此，以较为典型的以太环网来描述下目前网络运行现状。图 4R1 BAS1 语音汇聚 1 R2 BAS2 语音汇聚 2A BDCD1 D2 AG1 PON以太网 1 主环以太网 1 副环如图 4 可以看到，由 ABCD 四个点组成一个 10G 的以太环网主环，其中处于汇接局的 A,B 两点本地上联 I
23、P 城域网汇聚路由器 R1,R2,BBAS BAS1,BAS2,以及语音的汇聚交换机语音呢汇聚 1，语音汇聚 2。而节点 D 下挂了 D1,D2 组成了一个 Gbit 的副环，作为环网覆盖范围的延伸。综合接入设备 AG1 和 EPON 就近接入了 D2 和 C 局，通过 VLAN 规划将多种业务数据分别送至对应的汇聚设备。对于业务汇聚点的选择初期由两种规划，一种是区分区域，例如 A,D 节点的所有业务均由 A 进入汇聚设备，由 B 节点上联进行备份；B，C 节点的业务则均通过 B 接入汇聚设备，由 A 节点上联进行备份。另一种则是区分业务，即所有的宽带业务通过 A节点接入 BAS 和汇聚路由器
24、，B 做备份，所有的窄带业务通过 B 节点接入语音汇聚设备，A 做备份。区分区域的规划方式在业务的安全性方面更有优势，但数据制作和管理相对麻烦。而区分业务的规划方式，在数据制作和管理上较为简便，冷备份的倒换也较方便，但是会造成业务流量不均，且故障时影响面积较大。最终我们选择了按区域划分的业务汇聚方式。RPR 和以太环网的引入，为业务接入带来了便利，为网络的安全性提供了保障，给网络的运行效率带来了提高。但是 RPR 和以太环网还是存在一些问题。1， RPR 环的端口环路造成的 MAC 地址漂移问题。目前我们现网在用的 RPR 环一旦出现端口环路，则会出现全环的 MAC 地址漂移，造成逐步影响全环
25、业务巨大影响，而如果用于客户综合接入的话，用户误环回，则可能造成全网的障碍。2， 部分厂家的以太环网可能出现虚断的状况。由于部分设备端口配置因速率和双工匹配等问题需要设置为非自协商，非自协商的端口仅检测是否收到信号，则在光路出现仅在发方向阻断时，会出现由于端口仍持续向已阻断的发方向发送报文而造成数据包丢失的情况。因此对于环网的阻断检测机制还需要进一部的调整。3， 目前以太环网都为多上联保护，但如示例中的 AB 两点上联的方式，目前实际两侧上联仅为冷备份，不能自动倒换。如果需要自动倒换，则必须在对接设备上均启动 VRRP 协议，而目前现网还有部分汇聚设备不支持 VRRP 协议，需要在设备全部升级后才能实现真正的综合接入设备到汇聚层的全路径保护。虽然 RPR 环和以太环网还存在着一些问题，但是瑕不掩瑜，新技术的引入，网络结构的创新调整，让我们的网络具备了更高的安全性，更便利的业务接入条件，更完善的管理和维护手段，相信随着技术的不断发展，设备的不断改进，环网技术会在全业务承载的 IP 网上发挥更大的作用，也为用户提供更为便捷，高速和稳定的网络应用。
