1、Page 1,中国移动IP承载网架构及路由部署,HUAWEI TECHNOLOGIES CO., LTD.,,Page 2,网络总体架构规划IGP协议规划BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站点接入方案,目录,Page 3,中国移动IP承载网整网拓扑结构,广东省在广州、深圳分别设立独立BR设备,Page 4,A类大区省份（广东） CR/BR BR AR B类大区省份（除广东外的其它大区省份） CR/BR BR/AR(辽宁大连，江苏无锡) AR 非大区省份 BR/AR AR,移动IP承载网设备角色,Page 5,广东移动IP承载网拓扑结构,Page 6,核心节点：广东
2、部署两台核心CR（NE5000E），与成都、武汉、北京、上海四个大区相连。汇聚节点：广州、深圳分别部署2台BR（NE5000E）做为汇聚广东各地市AR，广州BR1、BR2 汇聚广州、粤西（佛山、中山、湛江、珠海、肇庆、云浮、茂名、阳江）、粤北（清远、韶关）各接入节点地区业务；与深圳BR1、BR2彼此实现互联，并以U型上联方式汇聚深圳、粤东（东莞、惠州、汕头、汕尾、梅州、河源、揭阳、潮州）各接入节点城市业务（特殊接入：广州AR1、AR2分别接入广州CR1、CR2外）；在广州BR1/BR2与深圳BR1/BR2之间设置1对互联链路，实现2个汇聚区业务的互联，并在其中1个汇聚区上行链路或CR发生故障时
3、提供业务流量向另一对出省节点的引导，保证全网业务的可靠性。接入节点：所有接入层设备(AR)采用“单归双联”的方式接入到所属汇聚节点（BR1、BR2）；与下挂CE或MCE组成星型或口字行网络。,广东移动网络总体结构规划,Page 7,协议总体规划,为实现网络路由管理的集中化和扁平化，全网采用单一自治域（AS）方式进行网路组织。域内路由协议采用ISIS，Level-2层路由设置，并启用IGP（ISIS）的快速收敛。路由管理地址和链路地址的路由由IGP承载；域间路由和VPN路由由BGP承载，如UMG、SOFT地址等。,Page 8,网络总体架构规划IGP协议规划BGP（VPN）规划网络服务质量保证（
4、QoS）高可靠性方案软交换站点接入方案,目录,Page 9,IP地址规划总体原则,1、省级软交换业务采用10.0.0.0/16网段；但限定在10.0.127.255以内，10.0.128.0 10.0.255.255作为预留 2、Loopback接口地址采用公网地址：221.130.208.0-221.130.223.255/32 3、IP承载网路由器（CR、BR、AR）设备互连地址采用10.1/16 10.7/16地址段10.1.1/24 10.1.16/24为CR地址段，10.1.24/24 10.1.127/24为BR地址段，10.1.128/24 10.7.255/24为AR地址段 4
5、、地市延伸以后总体上采用CR、BR、AR三级结构，但是除广东的CR、BR、AR完全采用不同设备以外其他许多局点都是CR兼作BR或者BR兼作AR，在分配地址的时候CR兼作BR的路由器按照CR来分配，BR兼作AR的路由器按照BR来分配。,亮点： 角色决定地址，方便网络维护与故障排除,Page 10,中国移动IP专用承载网域内路由协议继续采用IS-IS，CR、CR/BR BR、BR/AR、RR、AR等路由器均属于ISIS Level 2；IP承载网CR/BR、CR、BR、BR/AR、RR、AR的Loopback地址和内部互连地址由IS-IS统一承载，IS-IS不承载其它路由。ISIS采用快速收敛技术
6、,端到端收敛时间在2s以内NET规划 NET格式为：区域号.SystemID.00 区域号：为统一的编号，采用国家编码各地电话号码区号的的方式， 如北京地区为：86.0010SystemID：根据Loopback地址设置SystemID，某设备Loopback地址如下：10.23.34.50100.2303.4005最终，该设备NET值为：86.0010. 0100.2303.4005.00,ISIS总体规划,Page 11,1 遵循流量疏导原则 传输距离较短的路径跳数最少的路径4 尽可能不出现等值路径5 流量优先从底层穿越,Metric规划原则,Page 12,Metric规划,二期网络仍然
7、存在等价路径的情况地市延伸后 将会增加AR-BR和AR-AR的互连链路，二期中的CR-CR之间 BR-BR之间的Metric。权重值太小 难以保证地市延伸后AR端到端不出现等值路径。,Page 13,AR,AR,AR,AR,BR/AR,BR/AR,CR,CR,CR,CR,A1,A1,B1,B1,B2,B2,C1,C1,E1,A1,A2,D,E2,(A1,A2)D(E1,E2) 如果E1=E2,不同地市的不同平面AR之间互访会出现等值路径,Metric规划（AR之间Metric规划）,Page 14,网络总体架构规划IGP协议规划BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站
8、点接入方案,目录,Page 15,随着省内延伸工程的建设，中国移动IP专用承载网中的PE路由器 将扩展至600 多台，北京、上海、广州设置的3对VRR路由器在性能上存在一定的可扩展性风险 根据网络拓扑结构，重新规划路由反射簇（Route Reflector Cluster），每个VRR路由器单独为一个路由反射器，采用分区覆盖方式构成16个MP-iBGP路由反射簇，每个省分别归属于直接上联的CR设备所属的2个Cluster中，16台VRR之间构成Full Mesh MP-iBGP连接。为保证省内业务稳定，不受省际链路故障的影响，对于非大区省，其本省的BR或BR/AR设备同时作为本省的VRR，仅与
9、省内的AR建立MP-iBGP邻接关系，构成1 个省Cluster；即各非大区省的AR节点既作为骨干VRR的Client又作为本省VRR的Client。,RR部署,Page 16,BJAR1,BJAR2,NMAR2,非大区省份（内蒙）,NMAR,大区省份（北京）,BJCR1,BJCR2,XACR2,BJRR1,BJRR2,XARR2,说明： 全网八大区每个大区两台RR，每台RR均为独立的Cluster.全网一共16个Cluster,骨干 RR之间建立full-mesh邻居关系,RR部署 - 核心VRR部署,Page 17,骨干 RR之间建立full-mesh邻居关系,非大区省份(内蒙),XACR
10、2,NMBR1,NMBR2,NMAR1,NMAR2,BJCR1,BJRR1,XARR2,说明： 为了保证所有BR-CR上行链路同时发生故障时不影响省内业务，将BR设备兼做AR的VRR反射省内业务,RR部署 - BR兼做省内VRR部署,Page 18,MPLS VPNRD、RT规划,RD规划： 对于业务系统单归接入的方式 同一个VPN内不同PE采用一个RD 业务系统双归接入到两个PE时 同一个VPN中在两个PE上设置不同的RD值RT规划： 对每个VPN分配2个RT值，第一个等同RD，第二个为RD值加1 ，以满足各种不同类型VPN的需求,Page 19,RD规划双归组网中RD相同,如果VPNv4路
11、由通过RR进行反射,RR会将路由进行优选后再反射给远端PE,远端PE在VRF中只有一条路由 1 回程流量会压到一个PE设备上，不能形成负载分担 2 下一跳设备出现故障时，路由不能快速切换,VPN-v4 update: RD:24059:200:10.200.0.10/28, Next-hop=PEB-1,VPN-v4 update: RD:24059:200:10.200.0.10/28, Next-hop=PEA-1,P,P,P,P,PEA-1,PEB-2,PEB-1,PEA-2,CE1,CE2,VPN-v4 update: RD:24059:200:10.200.0.10/28, Next
12、-hop=PEB-1,VPN-v4 update: RD:24059:200:10.200.0.10/28, Next-hop=PEA-1 (Best),RR,10.200.0.10/28,Page 20,网络总体架构规划IGP协议规划BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站点接入方案,目录,Page 21,QoS体系结构,Classification & MarkingTraffic Policing & Traffic ShappingCongestion ManagementCongestion Avoidance,Page 22,QoS总体设计方案,网络设计根
13、据话务流量模型规划中继链路容量，尽量避免网络拥塞（轻载）为核心链路设计可预知的备份路径Diff-serv/E-LSP技术网络边缘流量控制技术（CAR/Shaping），降低骨干链路拥塞的概率基于网络边缘业务接入的标识（DSCP），进行队列调度在MPLS域，将DSCP映射到EXP,基于EXP进行队列调度，采用E-LSP方案在CR设备上，将LDP EXP映射到RSVP-TE的EXP.,Page 23,IP承载网带宽使用策略,端口带宽,语音,NC信令,网管,其它,网络按照NC业务和语音信令业务总和规划带宽 NC和信令业务严格优先保证，不限制带宽使用上限 语音业务可以抢占带宽，但是不超过其上限，其带宽
14、可供其它业务使用 网管和七号信令检测等其它业务在剩余带宽中按照权重比进行分配 其它业务尽力转发,Page 24,IP承载网QoS设计方案,Page 25,Classification & Marking,acl number 3000 rule 5 permit ip source 10.0.109.0 0.0.0.127 acl number 3001 rule 5 permit ip source 10.0.38.0 0.0.0.255 acl number 3002 rule 5 permit ip source 10.0.37.0 0.0.0.255 # traffic classif
15、ier 3001 operator or if-match acl 3001 traffic classifier 3002 operator or if-match acl 3002 traffic classifier 3000 operator or if-match acl 3000,traffic behavior 3001 remark dscp cs6 traffic behavior 3002 remark dscp ef traffic behavior 3000 remark dscp af21 traffic policy Ctrl # traffic policy Ct
16、rl classifier 3001 behavior 3001 traffic policy Carry classifier 3002 behavior 3002 traffic policy Manager classifier 3000 behavior 3000 # interface Ethernet2/1/0 traffic-policy Ctrl inbound,ACL,Traffic Classifier,Traffic Behavior,Traffic Policy,Interface,Page 26,网络总体架构规划IGP协议规划BGP（VPN）规划网络服务质量保证（Qo
17、S）高可靠性方案软交换站点接入方案,目录,Page 27,中国移动IP承载网高可靠性技术,快速检测:PoS告警BFD快速切换：MPLS TE FRRIP FRR快速收敛：ISIS FC,Page 28,PoS告警敏感快速检测PoS链路故障,没有配置PoS告警敏感的情况下无法快速感知 需要等待PPP Keepalive超时,配置PoS告警敏感的情况下一旦 收到告警信号快速将端口置为Down,Page 29,BFD快速Hello,BFD（ BiDirection Forwarding Detect：draft-ietf-bfd-v4v6-1hop-02.txt ） 每个报文不超过100Byte，对
18、带宽的占用低于100Byte100/s8bit/Byte=80000bit/s=80Kbps 报文发送靠接口板上的NP进行处理，无需主控板CPU参与，对系统性能无影响 单跳BFD通常与IGP以及IP FRR联动，多跳BFD通常与BGP以及VPN FRR联动,BFD Hello 报文,单跳BFD,多跳BFD,以ms级时间 间隔发送,BFD Hello 报文,传输/交换网,以ms级时间 间隔发送,移动IP承载网端局接入采用了BFD技术,Page 30,IP FRR,目标网络,最优路径,次优路径,FRR路径,正常情况下，数据包走最优路径 当最优路径故障，入口路由器一旦感知到故障（可以通过PoS告警以
19、及BFD等技术进行快速检测），立即把数据包通过预先设置好的FRR路径转发 与此同时，路由会进行重新收敛，转发表项更新，FRR使命结束，数据包通过收敛后的路径进行转发,移动IP承载网端局接入采用了IP FRR技术,Page 31,TE路径建立严格显式路径,所谓的严格显式路径，就是下一跳与前一跳直接相连。 通过严格显式路径，可以最精确地控制LSP所经过的路径。,主路径：explicit-path to_gzcr1_main next hop 10.1.5.21,Bypass路径：explicit-path to_gzcr1_bypass next hop 10.1.9.6 next hop 10.
20、1.7.5 next hop 10.1.5.17,Page 32,MPLS TE报文转发组件,MPLS TE报文转发组件是基于标签的，通过标签沿着预先建立的LSP进行报文转发。如何把流量引入到MPLS TE隧道中： 静态路由（Static Route） 自动路由（Auto Route） 转发捷径（Shortcut） 转发邻接（Forwarding Adjacency） 策略路由（Policy Route）中国移动IP承载网采用了自动路由(shortcut)的方式。,Page 33,MPLS TE FRR（ Short Cut ）,IP/MPLS CORE,P,PE,PE,PE,PE,P,P,P
21、,MPLS TE DOMAIN,Link Protection,主用路径,次优路径,主用TE,备用TE,临时路径,TE隧道发起端采用IGP Shortcut方式， 只有TE发起端能够感知和使用TE隧 道，TE的Metric小于物理链路Metric如果主用路径故障，首先通过TE FRR切换到备用TE（50ms级别，p路由器不 需收敛），保证IGP收敛过程中流量不中断，等待AR路由器端到端收敛到次优 路径,Page 34,MPLS TE FRR（ Forwarding Adjacency ）,IP/MPLS CORE,P,PE,PE,PE,PE,P,P,P,MPLS TE DOMAIN,MGW,M
22、GW,Link Protection,主用路径,次优路径,主用TE,备用TE,TE隧道发起端采用Forwarding Adjacency方式 ，将TE作为逻辑链路引入了 IGP，网 络所有节点感知，TE的Metric小于物理链路 主用TE故障情况下，流量切换到备用TE（50ms），PE路由器IGP不再收敛。,Page 35,IGP快速收敛,iSPF：增量SPF计算。除第一次计算时需要计算全部节点外，每次链路的变化只计算受到影响的部分并能保证最短路径树（SPT）的完整。,PRC：部分路由计算，常常与iSPF结合在一起工作，如经过iSPF计算后SPT发生了 改变，此时由PRC来更新变化的节点上的所
23、有叶子即可。路由器代表节点路由器宣告的路由代表叶子,Page 36,链路捆绑负载分担（IP-Trunk/Eth-Trunk）,优点： 通过设置门限，可以保证在捆绑的链路总带宽小于门限时将IP-Trunk(Eth-Trunk)接口Down掉，流量收敛到其他链路。避免了带宽不足时流量依然拥挤到这条链路上。 节省IP地址。 可以很灵活的进行带宽的按需扩展。,业务流,业务流,业务流,业务流,链路捆绑,PoS,IP-Trunk,Eth,Eth-Trunk,Page 37,网络总体架构规划IGP协议规划BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站点接入方案,目录,Page 38,中国
24、移动IP承载网端局接入整体结构图,UMG,softswitch,UMG,Full-Mesh MP-IBGP,ISIS Domain,RSVP-TE,MP-IBGP,MP-IBGP,VPN RR,TE FRR,Shortcut,OSPF,Level2,VRRP,VRRP,OSPF,UMG,OSPF,softswitch,VRRP,MCE,OSPF,VRRP,信令,媒体,T局接入方式一： 媒体：主备 信令：主备,BFD,BFD,IP FRR,端局接入方式 媒体：负载分担 信令：SCTP多归属,T局接入方式二： 媒体：主备 信令：主备,Page 39,UMG1,CR1,CR2,S3526-1,S35
25、26-2,SS1,AR1,UMG2,S3526-1,S3526-2,2631E,SS2,AR2,2631E,3526C,3526C,VRRP主,VRRP备,VRRP主,VRRP备,T局接入方式一拓扑 (除海口、银川、西宁、拉萨外的所有局点),Page 40,UMG,CR1,CR2,S3526-1,S3526-2,2631E,3526C,AR1,AR2,VRRP主,VRRP备,VRRP主,VRRP备,T局接入方式二拓扑 (海口、银川、西宁、拉萨四局点),Page 41,媒体模块,端局接入拓扑,MGW/SS,AR PE1,AR PE2,IGP/MPLS,CE-1,CE2,多实例OSPF,多实例OS
26、PF,GE,GE,POS,GE,Backbone,多实例OSPF,信令模块,信令工作在SCTP模式下 媒体流工作在负载分担模式 CE与PE之间运行OSPF多实例,一条物理连接，通过两个子接口区 分媒体和信令业务，分别绑定到媒 体和信令VPN实例中,媒体,信令,Page 42,端局接入参数规范（部分）,Page 43,信令模块,端局路由组织方式信令,MGW或者MSC SERVER/HLR,备,主,信令接口工作为SCTP双归属方式，信令接口故障检测机制是基于SCTP检测，信令接口通过SCTP检测主用路径的可用性，出现故障则切换到备用路径。 在CE上将直连信令端口引入到OSPF。 在CE上配置本平面
27、信令网段的聚合黑洞静态路由，并引入到OSPF中（E1） 在CE侧启用忽略环路检测功能 在PE的BGP多实例中发布两条信令聚合路由 在PE的OSPF多实例中引入BGP路由，并进行ASBR聚合,主用SCTP,AR PE1,AR PE2,IGP/MPLS,CE-1,CE2,多实例OSPF,多实例OSPF,GE,GE,POS,GE,Backbone,备用SCTP,Page 44,端局路由组织方式媒体,媒体接口工作为负载分担模式下 CE与UMG之间采用BFD(主接口启用BFD,子接口绑定到媒体VPN实例)进行快速故障检测，并在CE之间启用IP FRR进行媒体流快速倒换 在CE上将直连媒体端口引入到OSP
28、F。 在CE上配置本平面媒体网段的聚合黑洞静态路由，并引入到OSPF中（E1） 在CE1上配置静态路由，目标地址位IP4所在网段，下一跳为IP2,采用默认优先级，并引入OSPF;在CE2上配置静态路由，目标地址位IP2所在网段，下一跳为IP4,采用默认优先级，并引入OSPF. 在CE上启用OSPF忽略环路检测功能 在PE的BGP多实例中发布两条媒体聚合路由 在PE的OSPF多实例中引入BGP路由，并进行ASBR聚合,AR PE1,AR PE2,IGP/MPLS,CE-1,CE2,多实例OSPF,多实例OSPF,GE,GE,POS,GE,Backbone,多实例OSPF,IP FRR,BFD,BFD,IP1,IP2,IP4,IP3,Page 45,Thank You,,
