LHAASO网络环境及数据传输系统 齐孟尧 中科院高能所-计算中心

目录 1 当前网络状态 2 数据传输系统 3 公共服务 4 总结

广域网 IHEP-LHAASO观测基地 IHEP-USA(Internet2) IHEP-EUR(GEANT) IHEP-Asia 待建带宽: 1Gbps IHEP-USA(Internet2) IHEP-CSTNet-CERNET-USA 带宽: 10Gbps IHEP-EUR(GEANT) IHEP-CSTNet-CERNET-LONDON-Euro IHEP-Asia IHEP-CSTNet-HONGKONG-Asia 带宽: 2.5Gbps IHEP-*.edu.cn IHEP-CSTNet-CERNET-University 带宽：10Gbps 国际国内链路； 1、（加入lhc1 qfz），进展情况； 2、中欧链路问题；

网络总体架构 有线网络和无线网络物理隔离 增加网间互联交换机，将园区 网与数据中心网络分开 支持双栈防火墙 园区网络内增加两个DMZ区 网络出口 2x 10GE 10GE 有线网络和无线网络物理隔离 增加网间互联交换机，将园区 网与数据中心网络分开 支持双栈防火墙 包括园区网络和数据中心网络 园区网络内增加两个DMZ区 OA 服务 公共云服务 支持IPv6 网格数据传输目前也支持IPv6 数据中心 防火墙 2x 10GE 防火墙 NX10GE 2X10GE 2x 10GE 异地实验 交换机 1GE or 155M Circuit or VPN 数据中心 核心交换机 IHEP核心 交换机 2x 1GE 8770 更换问题； 防火墙 2x 10GE 2x 10GE 在线获取 核心交换机 控制网络 核心交换机 办公网络 核心交换机

园区网络 双10G骨干网 支持IPv4&IPv6 无线网络wifi 测控基地网络布线已完成， 目前正协商设备采购，预计 十月份开通网络 IHEP 职工/学生 所外 EDUROAM 测控基地网络布线已完成， 目前正协商设备采购，预计 十月份开通网络

EDUROAM@IHEP EDURoam (全球高校网络漫游) IHEP于2015年3月加入EDUROAM 旨在建立国际教育及科研机构间的无线局域网漫游体系的计划，意在推动全球教育以及科研单位之间的无线局域网服务共享。 用户可使用原机构提供的合法账号或者CA证书，在世界各地已参与 EDUROAM 计划的伙伴机构内使用无线局域网上网。 IHEP于2015年3月加入EDUROAM 支持用户名/密码认证和CA证书认证 更多信息: http://eduroam.ihep.ac.cn/eduroam

数据中心网络 新的网络架构完成于2015年8月 双核心交换机&双防火墙 更优越的主干带宽 网络区域划分更清晰 两种网络 高可靠性，高稳定性，易于管理 更优越的主干带宽 160Gbps(4X40Gbps) 存储节点10Gbps 用于科学数据传输的旁路网络 网络区域划分更清晰 内网: 计算/存储/AFS/DNS/监控 DMZ: 公共服务器/登录节点/… 外网: 网络性能测量节点 两种网络 数据中心网络 控制网络

网络测量PerfSONAR 测量网络带宽、延时和丢包情况 优势 网络性能分析 数据支持 不用太细节，主要是描述我们为了提高网络可靠性，开发并部署了一套这个系统，可以实时主动测量并了解所内的网络状态 Bandwidth：Reverse Throughput 934, Throughput 471 Latency：0.33ms Packet Loss：Five Ten Thousandths 右图：蓝线虚线反向带宽平均达到934，蓝色实线平均达到471Mbps 说明当前该节点上行带宽受阻。 原因：可能由于当前交换机的总上行流量较多，限制了测量节点的上行流量。能够起到预测网络异常，提供网络性能分析数据，为网络升级改造必要数据支持。 1.数据保存到哪里？有数据库吗? 各个测量节点,自带数据库 2.数据存储量有多大？ 3.多久采集一次？还是实时采集？ 3能够保持多长时间的数据？ 网络测量工具集 带宽测量（iperf工具） TCP协议 每5分钟运行一次 每次测量20S，丢弃前5S的数据（测量开始时，测量值较低） 双向测量（往返流量） 丢包率测量（UDP发包） UDP协议 每秒发送10个数据报文 丢包等待时间10S（超过10S视为丢包） 每30S返回一次测量结果 每半小时重新测量 双向测量（往返丢包） 延迟测量（ping工具） ICMP协议（单向、双向） 每5分钟测量一次 每次发送10个报文，报文发送间隔为1S 双向测量（往返时延） >=800 绿色 OK <800 黄色 WARNING <=300 红色 CRITICAL 无流量 橙色 UNKNOWN (基于perfSONAR对园区网络进行Bandwidth、Latency、Loss进行主动测量)

网络性能优化SDN 当前网络架构下提高数据传输性能 目前合作单位 数据传输性能提高了5-15倍 IHEP/SDU/SJTU 数据传输性能提高了5-15倍 性能改进：可靠的数据传输，自动ipv4 ipv6链路选择，性能提升了5-15倍 (性能提高5 - 15倍) 9

网络监控 网络设备监控 网络流量监控 优势 实时监控网络异常 提高网络稳定性 使用cacti和ap监控系统对当前网络设备进行监控，做到及时发现网络异常，降低网络故障时间，提高网络运行稳定性。We Some tools we are using to monitor the network and services quality for our users. For example, we can clearly know the wireless network status,if there are some problem,the network engineers can get the message ASAP and to fix it

网络安全 网页漏洞扫描系统 弱口令检测系统 有漏洞的服务器将会发邮件预警 对高能所用户开放，可以检测自己的服务器或者电脑状态，系统会提供安全漏洞的修复建议 网页: http://safe.ihep.ac.cn 弱口令检测系统 能检测 AFS/SSO/MySQL 口令 一旦检测到弱口令会发邮件给管理员修改 目前共发现 79个AFS 和163个SSO 弱口令 已发现 3 个 MySQL 弱口令 Web vulnerability scanning system developed and deployed It

数据传输系统 LHAASO实验产生海量数据:每年4PB 实验现场异地建设，数据具有共享需求 要求系统通用性，实时性和稳定性

架构设计 基于DYB数据传输系统SPADE进行开发实现 部署于Wildfly（JEE server）上的Java application 该系统已稳定运行8年 完成从大亚湾现场到高能所再relay到LBNL的源数据传输 部署于Wildfly（JEE server）上的Java application COMMON-SPADE JUNO SPADE/LHAASO SPADE/CSNS SPADE…. 根据配置文件中参数的不同，实现不同的功能 发送：Sender Instance 接收：Receiver Instance wildfly PostgreSQL JDBC H2 JDBC H2console *-SPADE MySQL JDBC

数据传输通用功能模块 传输协议 缓冲区机制 反馈机制 监视模块 支持SCP/GridFTP协议的数据传输（多流传输） 为简化使用，其中Gridftp认证采用的是ssh-key，并未使用网格的证书（与目前dyb的用法一致） 缓冲区机制 数据传输方和接收方都可以设置本地缓存，保证数据传输的有效性 反馈机制 数据传输成功 缓冲区清空 数据传输失败 启动重传机制 监视模块 按文件个数 按文件大小

数据传输通用功能模块 为了和其他系统进行交互（例如：DAQ, Bookkeeping等） 配置模块中提供与实验相关的定制化接口 底层提供多种数据库支持 Postgresql/MySQL/H2 数据传输系统会为传输文件创建Metadata（xml文件） 生成时间，参数配置，数据源等信息 配置模块中提供与实验相关的定制化接口 通过配置文件的方式进行定义 Metadata的文件内容 需要传输文件类型（前缀、后缀、扫描文件的存放路径等） 文件在远端warehouse的存放路径

公共服务 高能所统一认证系统 IHEP APP IHEPBox Vidyo 高能所个人云存储，团队协同编辑 总用户: 1000+ 总用户：7135 LHAASO：66 (IHEP：66, others：0) IHEP APP 通讯录功能 新闻、学术活动、多媒体… 个人日程功能正在开发中 IHEPBox 高能所个人云存储，团队协同编辑 总用户: 1000+ 空间使用情况: 21T/145T Vidyo 用户:702 会议室:1079

总结 针对LHAASO-IHEP的网络建设中 数据传输系统 开发更多更实用的公共服务平台 通用功能模块在高能所测试环境中部署完成 待确定lhaaso的需求（源数据的存放路径、与DAQ等的接口调试等）后，进行定制开发，测试，部署 开发更多更实用的公共服务平台

Thank you! Question?