Zhihui Sun CC, IHEP sunzh@ihep.ac.cn 03-16-2017 基于perfSONAR的高能物理网络性能监测平台研究与实现 Zhihui Sun CC, IHEP sunzh@ihep.ac.cn 03-16-2017 2018/12/2

Agenda 问题与需求 perfSONAR介绍 网络测量与监控@IHEP 总结 2018/12/2 2018/12/2

高能所网络 –广域网 高能所—美国 高能所—欧洲 高能所—亚太 高能所—国内大学 IHEP-CSTNet-CERNet- Internet2/esnet 10Gbps 高能所—欧洲 IHEP-CSTNet-CERNet-GEANT2-Europe 高能所—亚太 IHEP-CSTNet-HKIX(Hong Kong Internet exchange) 2.5Gbps 高能所—国内大学 IHEP-CSTNet-CERNet-EDU depends on the network access bandwidth of each university IHEP-CSTNet 100M-1Gbps 教育网 科技网 bandwidth and route of IHEP network 2018/12/2

高能所网络 –局域网 数据中心网络（Data Center Network） 园区网（ Office Network ） 计算、存储资源 个人办公、公共服务 实验网、控制网、数据获取网

高能所网络 – 数据中心网络 架构 网络分区 扁平化的网络架构 双核心+防火墙 160Gbps(4X40Gbps)连接TOR交换机 BYPass 路径 网络分区 内网: 计算/存储/AFS/DNS/… DMZ: 公共服务/登录节点/… 外网: 网络测量节点 2018/12/2

高能所网络 – 园区网络 2X10Gbps 连接科技网 支持IPv4 & IPv6 网络接入控制管理系统 控制方式：IP + MAC + switch port EDUROAM 2018/12/2 eduroam @IHEP

How to ensure the network works well? 网络面临的挑战 大批量科研实验数据需要高可靠性的网络传输 随着越来越多的接入，网络变得越来越庞大！ 网络问题大多是多域的并且比较复杂的 端到端的网络问题是比较难以定位到的 网络测量和监控是非常必要的！ We Choose a standard open source tool 2018/12/2

perfSONAR 介绍 perfSONAR 是基于Web Service 的开源网络测量架构，提供端到端的网络测量，能够帮助用户定位和确认网络问题。 perfSONAR架构分为：测量层、服务层、用户接口层，测量层包含不同自治域内的测量点；服务层由测量服务构成，服务为Web Service形式；用户接口通过与服务层请求获得所需测量信息。 perfSONAR测量数据分为METADATA和DATA两部分， METADATA描述测量数据类型及基本参数，DATA是由时间戳和测量数值组成。 用户接口层 User interface 1 User interface 2 域A 服务 域B 服务 域C 服务 NMWG DATA IP TCP HTTP SOAP METADATA 服务层 域A 测量点 域B 测量点 域C 测量点 perfSONAR 消息协议栈 测量层 perfSONAR 体系结构 2018/12/2

perfSONAR 介绍 perfSONAR 提供了一些基层的测量服务及工具 Traceroute/Tracepath 丢包率、延迟测量 网络单向延迟及丢包率测量 网络丢包率通常能够反映网络状况的好坏 带宽测量 基于iperf3，提供对网络可用带宽的测量 基于带宽测量可用看到网络传输的变化 可用确认网络的传输瓶颈 Traceroute/Tracepath 提供网络路径探测功能 可用探测端到端的网络路径 2018/12/2

perfSONAR 介绍 全球有大于1500 perfSONAR instances , 并且大部分测量点提供开放的网络性能测量服务 大多数测量点集中在美国和欧洲 网络运营商，如Internet2、ESNET、 GEANT2 也在使用 perfSONAR测量他们提供的网络的性能 研究机构，尤其广泛用于高能物理领域，如CERN、In2p3、Desy、BNL、IHEP… 2018/12/2

网络测量@IHEP 基于perfSONAR的网络测量 广域网测量 园区网络测量 数据中心网络测量 WAN campus network Data center network campus network

网络测量@WAN 两台测量服务器提供perfSONAR网络测量服务 测量站点 带宽测量: http://perfsonar.ihep.ac.cn 延迟及丢包率测量: http://perfsonar2.ihep.ac.cn 两个测量服务都支持 IPv4&IPv6 测量站点 与国际102个测量站点建立了测量服务 加入 WLCG ATLAS 测量网格(65 个测量点) 加入 WLCG CMS测量网格 (23个测量点) 并且正在建立以BESIII的测量网格, 但需要更多的BESIII 成员测量站 点 2018/12/2

网络测量@WAN 延迟及丢包率测量结果（IPv4） IHEP- USA ~120ms IHEP- EUR. fr： ~143ms ch：~144ms de：~155ms it： ~150ms IHEP- ASia Hk : ~38.5ms kek：~42ms One week test Average Latency: 120 Average Packet Loss: 0.001% One week test Average Latency: 134 Average Packet Loss: 0.005% 2018/12/2

网络测量@WAN 延迟及丢包率测量结果（IPv6） IHEP- USA ~122ms IHEP- EUR. fr：~139ms ch：~160ms de：~163ms it： ~164ms IHEP- ASia Hk: ~41.5ms kek：——— One week test Average Latency: 122ms Average Packet Loss: 0.002% Ipv4: 120ms 0.001% 2018/12/2

网络测量@WAN 带宽测量结果（IPv4） 带宽测量结果（IPv6） IHEP- USA ~283Mbps IHEP- EUR. tsinghua tsinghua IHEP- USA ~283Mbps IHEP- EUR. fr：~222Mbps ch：~211Mbps de：~186Mbps it：~304Mbps IHEP- ASia kek：~863Mbpd IHEP- USA ~117Mbps IHEP- EUR. fr：~23.3Mbps ch：~24.3Mbps de：~50.6Mbps it：~26.7Mbps IHEP- ASIA kek： ——— 2018/12/2

网络测量-BESIII(合作组) 延迟及丢包率测量结果 ~107 Member： IHEP IU：Indiana University JINR：Joint Institute for Nuclear Research TAC-PF：Turkish Accelerator Center Particle Factory Group Tsinghua：Tsinghua University CUHK: The Chinese University of Hong Kong LNF (to be confirmed) KVI-CART (to be confirmed) GSI (to be confirmed) source destination IPv4 Latency(ms) IPv4 Packet loss Route（IPv4） IHEP IU(US) ~107 ~0.003% Ihep->cstnet->cernet->internet2->IU JINR(RU) ~179 ~0.032% Ihep->cstnet->cernet->internet2->dk->se->fi->JINR TAC-PF (TR) ~164 ~0.008% Ihep->cstnet->cernet->uk->nl->de->hu->tr->TAC-PF tsinghua(CN) ~6.9 ~0.0001% Ihep->cstnet->cernet CUHK ~38.5 ~0.005% Ihep->cstnet->hkix->CUHK 2018/12/2

网络测量-BESIII(合作组) 带宽测量结果 IHEP tsinghua source destination IPv4 Bandwidth Route（IPv4） IHEP IU(US) ~194Mbps Ihep->cstnet->cernet->internet2->IU JINR(RU) ~30.8Mbps Ihep->cstnet->cernet->internet2->dk->se->fi->ru->JINR TAC-PF (TR) ~94Mbps Ihep->cstnet->cernet->uk->nl->de->hu->tr->TAC-PF tsinghua(CN) ~5.04Gbps Ihep->cstnet->cernet CUHK(CN) ~493Mbps Ihep->cstnet->hkix->CUHK 丹麦 瑞典 芬兰 匈牙利 2018/12/2

网络测量@LAN-- 园区网络 部署了6个测量点，每个测量点放置一个测量 小盒子（mini PC） 每个测量点都安装了perfSONAR Monitoring point 部署了6个测量点，每个测量点放置一个测量 小盒子（mini PC） 每个测量点都安装了perfSONAR 2018/12/2 Monitoring Box

网络测量@LAN-- 园区网络 延迟及丢包率测量结果 Add more monitoring points later 2018/12/2 ms Test result is good! Latency <1ms Packet loss 0% 2018/12/2 Add more monitoring points later

网络测量@LAN- 数据中心网络 Cloud File system Login nods Work nods computing Monitoring point Row 3-4 File system Cloud computing Login nods Work nods Row 5-4 部署了13个测量点 分为计算节点、文件服务节点、login 节点、云计算节点 四 个测量分区 2018/12/2

网络测量@LAN- 数据中心网络 延迟及丢包率测量结果 2018/12/2 Test result is good! Latency <1ms Packet loss 0% 2018/12/2

无线网络监控系统 无线网络监控系统 Ap 状态、在线用户、用户掉线数据 为网络管理人员无线网络运维提供数 据支持 http://apmap .ihep.ac.cn 2018/12/2

总结 基于perfSONAR构建和部署了高能所网络测量平台 网络测量平台为高能所网络运维及网络问题发现及解决 提供可靠的支撑 网络测量平台为高能所网络运维及网络问题发现及解决 提供可靠的支撑 基于合作组（如BESIII）的网络测量正在进行中 开发了一套针对无线网络监控的系统

The attached 延迟及丢包率测量结果 IPv4 VS IPv6 The average In the latest week ms Source-> destination IPv4 Latency ms IPv6 Packet loss Route （IPv4） （IPv6） North America IHEP-> BNL (US) ~120 ~122 ~0.001% 0.002% Ihep->cstnet->cernet->esnet Ihep->cstnet->cernet->he.net->esnet IHEP-> hepn (CA) ~100 ——— ~0.029% Ihep->cstnet->cernet->internet2 EUR. IHEP->gridpp (UK) ~136 ~156 ~0.006% ~0.052% Ihep->cstnet->cernet->uk Ihep->cstnet->cernet->he.net->uk IHEP-> in2p3 (FR) ~143 ~139 ~0.005% ~0.004% Ihep->cstnet->cernet->uk->fr Ihep->cstnet->cernet->hkix->cw.net->fr IHEP-> cern (CH) ~144 ~160 ~0.003% Ihep->cstnet->cernet->uk->fr->ch Ihep->cstnet->cernet->he.net->ch IHEP->desy (DE) ~155 ~163 ~0.085% ~0.099% Ihep->cstnet->cernet->uk->nl->de IHEP->INFN (IT) ~150 ~164 ~0.015% ~0.108% Ihep->cstnet->cernet->uk->fr->ch->it Ihep->cstnet->cernet->he.net->it ASIA IHEP->KEK (JP) ~42 ~0.019% Ihep->cstnet->hkix->kek IHEP->CUHK (CN) ~38.5 ~41.5 0.095% 0.012% Ihep->cstnet->hkix->CUHK 2018/12/2

The attached Bandwidth test result IPv4 VS IPv6 The average In the latest week Source-> destination IPv4 Mbps IPv6 Route （IPv4） （IPv6） North America IHEP-> BNL (US) ~283 ~117 Ihep->cstnet->cernet->esnet Ihep->cstnet->cernet->he.net->esnet IHEP-> hepn (CA) ~294 ——— Ihep->cstnet->cernet->internet2 EUR. IHEP->gridpp (UK) ~152 ~46.5 Ihep->cstnet->cernet->uk Ihep->cstnet->cernet->he.net->uk IHEP-> in2p3 (FR) ~222 ~23.3 Ihep->cstnet->cernet->uk->fr Ihep->cstnet->cernet->hkix->cw.net->fr IHEP-> cern (CH) ~211 ~24.3 Ihep->cstnet->cernet->uk->fr->ch Ihep->cstnet->cernet->he.net->ch IHEP->desy (DE) ~186 ~50.6 Ihep->cstnet->cernet->uk->nl->de IHEP->INFN (IT) ~304 ~26.7 Ihep->cstnet->cernet->uk->fr->ch->it Ihep->cstnet->cernet->he.net->it ASIA IHEP->KEK (JP) ~863 Ihep->cstnet->hkix->kek IHEP->CUHK (CN) ~493 ~72 Ihep->cstnet->hkix->CUHK Ihep->cstnet->cernet->hkix->CUHK 2018/12/2

Thanks for your attention ! Any questions？ 2018/12/2