赛尔网络有限公司 CERNET 网络中心 网络运行部 李信满 2007年11月20日 内蒙古高校数字化校园建设研讨会 CERNET主干网运行报告 赛尔网络有限公司 CERNET 网络中心 网络运行部 李信满 2007年11月20日

主要内容 CERNET主干网最新进展 CERNET主干网络运行状况

CERNET骨干网带宽的发展 年份 主干带宽 1994年 64K 专线 1997年 4M 卫星线路 2000年 155M SDH专线 2002年 2.5G DWDM 2004年 2.5G/5G DWDM 2005年 2.5G/5G/10G DWDM 2007年 5G/10G/20G DWDM 从1994年CERNET成立到2006年，主干带宽增加30万倍

CERNET 主干网拓朴图

国际互联线路升级 CERNET 2.5Gx2 FLAG 总国际带宽5G多 HK US TANET HARNET 155Mbps TEIN2 DRAGONTAP KOREN HARNET 155Mbps 155Mbps 100Mbps 100Mbps FLAG APAN 总国际带宽5G多

国内互联现状 CERNET 总国内互联带宽在15G多 UNI CM CST GW ….. CNC 1G+6x155M+600M UNI 1G CRS 3G etc. 1G 北京交换中心 2.5G 北京 CNC 2.5G 2G 上海 CT CERNET CT: 中国电信 UNI: 中国联通 CNC: 中国网通 CM: 中国移动 CST: 中国科技网 CRS: 中国铁通 1G CM 1G 广州 UNI 1G 8x155M+1G UNI CT 总国内互联带宽在15G多

主干网最新进展综述 国际升级 1.5G  5G 国内互联升级 铁通增加1G 中国电信增加2G CERNET主干升级 南昌: 155M  2.5G 石家庄: 155Mx3  2.5G 太原: 155Mx3  2.5G 乌鲁木齐: 155Mx3  2.5G 北京到武汉、武汉到广州第二个10G

CERNET主干网现状概述 主干网总带宽约450G 节点带宽情况 主干网核心路由器台数：120台 全网主干节点数：38个节点 (36个城市) 155M线路：45条 节点带宽情况 地区中心全部 >= 10G 带宽超过2.5G的节点：28个 所有省节点 >= 155M, 除拉萨、西宁、海口外>=2x155M 主干网核心路由器台数：120台 全网主干节点数：38个节点 (36个城市) 网络用户数: 2000万 国际出口带宽：> 4G 国内互联带宽：> 15G 世界最大的国家级学术网，国内前三大互联网

CERNET 主干网升级规划(06年3月) 沈阳 长春 北京 乌鲁木齐 西安 南京 成都 上海 武汉 南昌 广州 银川 哈尔滨 西宁 呼和浩特 北京 长春 乌鲁木齐 大连 石家庄 济南 兰州 天津 青岛 太原 西安 郑州 合肥 南京 成都 昆明 上海 贵阳 武汉 南昌 重庆 拉萨 长沙 杭州 10G 4x2.5G 2x2.5G 2.5G 4x155M nx155M 南宁 广州 厦门 福州 桂林 海口 深圳

CERNET主干网规划 40G 10G 2.5G 租用 呼和浩特 北京 郑州 西安 武汉 合肥 上海 南昌 杭州 广州 成都 沈阳 南宁 天津 福州 重庆 济南 大连 长春 哈尔滨 长沙 南京 厦门 兰州 深圳 石家庄 乌鲁木齐 拉萨 青岛 海口 太原 西宁 桂林 昆明 贵阳 银川 40G 10G 2.5G 租用

NOC短信通知平台 由NOC开发，基于Linux/FreeBSD和短信网卡,支持手工及事件、程序触发的自动发送模式；有Web界面，可实时发送短信，将故障通知的时间由原来的不确定性固定为7x24小时的实时通知！ 从2006年4月1日始，主干网的网络故障(发生与恢复)等信息实时发送给38个节点的NOC技术负责人，便于及时了解、处理网络事件 平均每月发出的短信数为2100多条

故障管理系统TTS 基于Web界面及MySQL数据库 实时记录、跟踪故障产生、处理、关闭的全过程 提供丰富的查询、统计, 报表生成、打印功能等

NOC值班消息中心 开发并应用了基于主动报警方式的消息中心 故障发现时间大大缩短 集中的消息中心，适于值班员处理 可汇集各种消息及告警来源，支持手动、自动方式 支持各种操作系统 主动、丰富的报警方式 即时消息功能 故障发现时间大大缩短

网络运行异常检测与报警工具 网络正常状态描述（baseline） 网络异常检测 流量异常 包数量异常 路由异常 机房温度异常 CPU利用率异常 ……

网络性能管理 性能管理是网络管理五大功能（FCAPS）之一，网络建设完成后，除基本的故障管理外，性能管理非常重要 网络升级规划：何时升级线路和设备等 确保网络可用性和性能 测量和报告网络性能，确保符合SLA和QoS的要求 可以更好地理解、管理网络 对网络进行优化 主动网络管理的要求：不能被动地等待问题的发生和用户的抱怨

网络性能管理方法 网络性能度量 性能测试步骤与性能 所需的基本技术或工具 延时、抖动、丢包率、可用率和带宽利用率等 数据采集 网络正常行为描述 制定可接受的网络性能阈值 监控，比较与报告 网络调整与性能优化 所需的基本技术或工具 SNMP, sniffer/netflow Ping, traceroute, mrtg, iperf, wget etc.

延时 (delay/latency) 延时=传播延时 + 串行化延时 传播延时是信息通过传输介质时产生的延时，每1000公里光纤增加6ms 比如北京到广州的来回距离约5000公里，CERNET主干网从北京到广州的延时在34ms左右，是正常的 串行化延时是信息通过中间设备时产生的延时，通常是由于设备上的排队、处理和交换引起的，通常小于1ms，但负担较重的路由器特别是防火墙，串行化延时会较大 对网络语音应用较好的延时应小于100ms 测量工具：ping/traceroute

抖动 (Jitter) 延时的变化称为抖动，产生原因： 可变的队列长度 包经过的路径不同 (如负载均衡等） QoS技术的采用可能会产生较大的抖动 抖动对大部分应用没有影响，但对多媒体实时应用的影响较大 为了消除网络抖动的影响，通常应用系统需要采用缓冲（Jitter Buffer）来做平滑 对VOIP应用可容忍的抖动范围为20-30ms 简单计算：Ping: J1 = abs(t2-t1), J2=abs(t3-t2), ….

丢包率 丢包产生的原因 传输链路或硬件设备引起的CRC错 链路拥挤或队列满（tail drop or RED/WRED) 路由改变（暂时丢包）或黑洞路由 接口故障或路由器故障 错误配置的ACL ... ... 既使1%的丢包，也会对网络应用的性能产生重要影响 测量工具：ping

带宽利用率 决定何时进行线路升级 通常商业ISP在线路利用率到达35%时就要升级 对CERNET主干网，线路升级的前提是线路利用率达到70% 测量工具: mrtg, snmp, telnet etc

网络可用率 网络可用率=网络可用时间/总时间 是IP层的可达性 99.9%: 一个月的断网时间不能超过45分钟 99.99%: 一个月的断网时间不能超过5分钟 大部分运营商的网络可用率为99.9%，部分可以达到99.99% 通常网络设备的可用率在99.99%以上，链路的可用率在99.9%以上 目前CERNET主干网的平均可用率超过99.9%

每秒包数量（PPS） PPS对网络设备的性能（如路由器CPU）影响很大，因此影响网络的延时与抖动等，如Nachi病毒爆发时的情景 PPS对DOS/DDOS攻击的测量非常简捷 通常千兆以太网的PPS可能在10万个包左右（baseline），如果突然升到20万个，很可能发生了攻击 测试工具：show interface, snmp tools etc.

设备CPU与内存 CPU使用率最好不要超过30%，否则一有攻击时，设备将变得很脆弱

CERNET分布式性能监控系统架构 38个节点 国家中心 …… 显示 Agent PoP PoP PoP Agent Agent Agent Access 显示 Agent Core PoP PoP Core PoP Core Core Access Access Access Agent …… Agent Agent 38个节点

主干网38个节点延时排序

主干网38个节点7609 CPU排序

主干网38个节点机房温度排序

38节点主干线路利用率排序

38节点网络抖动排序

38节点网络可用率（4月份） 38节点月平均网络可用率为: 99.98%

西安和乌鲁木齐节点带宽利用情况 西安2x2.5G: 乌鲁木齐3x155M:

呼和浩特节点主干线路利用情况 流量情况 温度情况

SLA和QoS SLA: Service Level Agreement, 服务质量协议 SLA是网络运营商与用户之间签定的协议，SLA定义了提供的服务质量：包括带宽利用率、延时、丢包、抖动等 QoS是SLA在技术方面的体现 商业 技术 SLA QoS

SLA实例: Level 3 延时 丢包 可用率 抖动 带宽保证

SLA 实例: Sprintlink 105 ms Delay Packet loss Availability Jitter North America 55 ms 0.30% 99.90% 2 ms Europe 44 ms Asia 105 ms South pacific 70 ms Continental US (Peerless IP) 55ms 0.1% n/a

CERNET主干网SLA SLA参数 指标 网络可用率 > 99.9% 网络延时 < 150ms 网络丢包率 < 0.1% < 0.1% 网络抖动 < 6ms 带宽利用率 < 70%

CERNET NOC 定义：所有运行维护和管理CERNET网络的工作人员 任务： 故障管理: 故障的发现、报告、定位及排除 配置管理：配置修改、版本控制、保证IP路由正确性 性能管理：服务质量保证、网络性能统计与分析、异常流量监控 计费管理：netflow/sniffer，基于国际入流量的计费模型 安全管理：CCERT，网络攻击及病毒的预防、应急处理 组织活动 每周38个节点的网络视频会议 CERNET主干网运行工作会议

CERNET NOC组织结构 NOC主管专家 CERNET网络中心NOC 地区中心NOC 地区中心NOC …… 省主节点NOC

CERNET主干节点NOC主任名单 云南大学 杨勇 北京大学 王竹威 贵州大学 高鸿峰 北京邮电大学 张晓冬 西藏大学 安宝坤 云南大学 杨勇 贵州大学 高鸿峰 西藏大学 安宝坤 广西师范大学 邓剑锋 广西大学 刘宁 海南师大 刘元鼎 深圳大学 江魁 中南大学 黄家林 郑州大学 陈刚 中国科技大学 张焕杰 山东大学 张健 中国海洋大学 李璐 浙江大学 俞宏知 南昌大学 段小荣 福州大学 赖伟堂 厦门大学 陈晓筹 大连理工大学 于广辉 吉林大学 玄光哲 哈工大 吴刚 北京大学 王竹威 北京邮电大学 张晓冬 西安交通大学 丁会宁 电子科技大学 李育强 华南理工大学 叶昭 华中科技大学 贺聿志 东南大学 吴剑章 上海交通大学 周子豪 东北大学 温占考 天津大学 鹿凯宁 河北师范大学 刘宏忠 太原理工大学 武江 内蒙古大学 许智君 青海师范大学 黄科军 兰州大学 陈文波 宁夏大学 余秀雅 新疆大学 刘胜全 重庆大学 唐学文

每周NOC视频会议

2007年CERNET主干网运行工作会议 2007年6月27至28日在海南三亚举办 共36个节点的NOC人员参加会议 会议除技术与经验交流外,还对主干网的管理进行了研讨

实行主动式网络管理 主动式网络管理 实现主动式网络管理的因素 运行人员要求 在用户发现故障之前先发现 在用户抱怨之前先解决掉 实现主动式网络管理的因素 人: 态度、能力、方法 工具: 简单实用的网络管理系统（基本自己开发） 基于WEB，方便访问与管理 实时报警： 手机短信，语音报警 精细化管理: 基于流的管理 运行人员要求 PPP (Positive, Persistent, Perfect) 主动积极，坚持不懈，追求卓越！

CERNET网络运行中心 实行全年不间断网络运行服务和技术支持 国家网络中心NOC人员(13人） 365×24小时 运行值班 365×24小时 技术主管呼叫响应(24小时手机响应) 热线电话: 010-62784048 Email: cernoc@cernet.edu.cn 国家网络中心NOC人员(13人） 初级网络管理人员: 5 (CCNA) 中级网络管理人员: 6 (CCNP) 高级网络管理人员：1 (CCIE) 网络运行主管: 1

CERNET网络运行中心

最新的科研 CERNET2 is Pure IPv6, 全世界唯一 Softwire(IPv4 over IPv6), RFC4925 SAVA,真实源地址体系结构 IVI，IPv4/IPv6无缝访问(stateless end-to-end translation) 用IP地址直接标识用户、服务等 IPv6网管、应用等

谢谢 责任就是荣誉！