LHAASO合作组会议，2017，威海 LHAASO作业调度及 存储系统 中科院高能物理研究所计算中心 李海波 2017.9 威海

提纲 （一）计算系统 （二）存储系统 （三）下一步计划 （四）小结 LHAASO合作组会议，2017，威海

（一）LHAASO计算系统 计算中心计算环境概况 LHAASO计算环境 LHAASO作业情况 资源共享策略 作业前端工具

计算中心计算环境概述 本地集群 ~11000 CPU cores 主要为串行作业，即单核作业 过去10年，使用PBS管理作业和资源 2016年末，将所有资源迁移至HTCondor LHAASO合作组会议，2017，威海

计算中心计算环境架构 ON-line farm Login Servers Disk Servers CNIC 10Gbps 10Gb Ethernet (computing. & Storage Network) 10GE IHEP Campus Network CNIC 10Gbps 1Gbps Disk Servers CPU servers ON-line farm FC TPservers Login Servers Home Dirs(AFS) +Monitoring +Scheduler Tape Lib. LHAASO合作组会议，2017，威海

计算环境--资源迁移 PBSHTCondor JUNO start CMS test ~2500 2014.12 2015.2 2015.12 2016.8 2016.12 start test JUNO CMS ~2500 LHAASO DYB HXMT BES ~8000 ALL ~10500 Test and know functions and performance Develop user interface, monitor and management system Implement share policy and optimize performance LHAASO合作组会议，2017，威海

LHAASO计算环境 计算架构 5个调度服务器 18个登录节点 计算节点 1个PBS调度服务器 2个HTCondor调度服务器 2个（成都） 16+5个（高能所） 计算节点 63个（原网格节点，设备濒临淘汰） 虚拟节点 1048个 成都节点：32个 LHAASO合作组会议，2017，威海

IHEPCloud (CERNCloud,EC2, Aliyun,…) 虚拟计算集群 按需分配资源，提高资源利用率 实现资源整合，共享不同实验/组织的计算资源 满足峰值需求 VCondor VMquota 分配算法 IHEPCloud (CERNCloud,EC2, Aliyun,…) juno lhaaso 作业排队 虚拟机启停 当前可用资源 申请资源 资源预留 虚拟池状态 LHAASO合作组会议，2017，威海

LHAASO作业统计 总计 lhaaso用户组 lhaasorun用户组 作业数：1160225 作业总时长：2194806.27小时 活跃用户：48 lhaaso用户组 作业数：931876 作业总时长：1895815.73小时 lhaasorun用户组 作业数：228349 作业总时长：298990.54小时 LHAASO合作组会议，2017，威海

LHAASO作业情况 用户名 作业总时长 作业数量 wangzhen 559122.7 127046 lixr 273564.6 226951 dingxh 268794.0 117239 tianzh 247958.1 165516 changxc 237021.6 25704 yqguo 167985.9 9266 licong 105597.5 11728 zhaolt 60025.66 78119 wusha 47762.64 33228 lihuicai 44168.03 10069 lizhe 33176.85 3147 llma 32833.79 23518 biby 18762.64 4235 lasimu 18478.39 45462 yinlq 14364.25 14260 LHAASO合作组会议，2017，威海

资源共享策略 共享分属不同实验的资源 专用资源与共享资源 中央管理系统控制资源共享 LHAASO合作组会议，2017，威海

资源共享策略 未使用共享策略前，资源忙闲不一，利用率一般维持在50%～60% 共享后，资源利用率 保持在90%以上 LHAASO合作组会议，2017，威海

作业前端工具 Hepjob 工具集 简化作业交互 实现调度控制 统一规范集群作业入口，支持多集群，多调度器 hep_sub, hep_q, hep_rm,… LHAASO合作组会议，2017，威海

Hepjob批量提交 批量提交 建议同批作业使用批量提交方式 简化批量提交命令 一次性提交大量作业 消耗更少的提交时间 减少提交失败的概率 建议同批作业使用批量提交方式 简化批量提交命令 提交前确保作业具有存在并可执行 提交方法： $ hep_sub -n 300 job.sh.{ProcId} LHAASO合作组会议，2017，威海

（二）LHAASO存储系统 存储系统概括 /Scratchfs, /workfs存储系统 CVMFS软件库存储系统 EOS数据存储系统

LHAASO存储系统概括 磁带存储系统 磁盘存储 用户目录 软件库共享 Castor /scratchfs，/workfs /ybjgfs：正在迁移到eos /eos 用户目录 AFS 软件库共享 AFS，CVMFS LHAASO合作组会议，2017，威海

磁盘存储-/scratchfs,/workfs 总空间362TB 用户临时文件，缺省配置5GB，文件数532480000，两周以上不被访问的文件将被自动删除 /workfs 总空间 13TB 用户个人文件，缺省配额5GB，文件数50000 LHAASO合作组会议，2017，威海

公共软件库-CVMFS CERNVM-FS是由CERN开发的一种缓存文件系统，相对于AFS有许多优点 CVMFS替代AFS存储公共软件库 Fuse模式 & 只读文件系统 客户端本地磁盘缓存 适合远程站点，加载公共软件 HTTP协议传输 支持IPV6 CVMFS替代AFS存储公共软件库 2017年初上线使用 目前存放JUNO实验软件 LHAASO合作组会议，2017，威海

EOS存储系统 CERN于2010年开发的磁盘文件系统 内存元数据服务器，支持纠删码、磁盘组等多种新型存储技术 目前已成为CERN主要的实验数据存储系统，存储规模达到150PB 美国、俄罗斯、澳大利亚等全球十几个高能物理实验室已部署多个PB级以上的EOS实例 LHAASO合作组会议，2017，威海

EOS与其他分布式文件系统对比 EOS CephFS GlusterFS LustreFS 存储硬件 JBOD 专业磁盘阵列/JBOD Metadata Server 双MDS互相备份，内存存放元数据，不存在单点故障，存在瓶颈 有多个MDS，不存在单点故障和瓶颈 无MDS，动态算法替代，不存在单点故障 双MDS互相备份，不可扩展，存在瓶颈 冗余保护/副本 支持Replica、Archive、RAID6等多副本 N+M 镜像 无 数据可靠性 多副本提供可靠性 镜像提供可靠性 由存储节点上的RAID1或RAID5/6提供可靠性 故障恢复 支持主备模式，数据多副本，自动恢复 节点失效自动迁移数据、重新复制副本 系统自动处理故障 扩展性 元数据服务器不可扩展、存储节点可扩展 元数据服务器、存储节点可扩展 存储节点可扩展 存储节点可扩展，元数据服务器不可扩展 应用场景案例 海量数据分析 CERN大规模使用 云计算环境中的块存储 多媒体应用、互联网 超级计算应用 LHAASO合作组会议，2017，威海

EOS元数据操作性能 CERN的系统监视显示 多线程服务器可达到每秒百万次的stat请求 LHAASO合作组会议，2017，威海

EOS系统建设 2016年2月上线 LHAASO EOS实例 总空间1.34PB 已使用386.58TB，65万目录，3283万文件 实验数据：/eos/lhaaso/expriment, /eos/lhaaso/simulation 总空间1.34PB 已使用386.58TB，65万目录，3283万文件 LHAASO合作组会议，2017，威海

EOS部署现状 系统配置 2台元数据服务器 7台存储数据服务器 实验数据存储 348块存储磁盘 LHAASO合作组会议，2017，威海

（三）下一步计划 跨域数据传输 EOS软件升级 LHAASO合作组会议，2017，威海

跨域数据传输 需求 目标 远程站点缺少存储资源，无法镜像全部数据 远程网络传输延迟大，直接使用文件系统I/O访问基本无法工作 传统方式下数据需要预先存储，很难满足动态集群作业运行 目标 实现远程数据透明访问 支持跨域的数据查询、目录列表 目前已实现文件级别的跨域访问 下一步实现基于事例级别的跨域访问 LHAASO合作组会议，2017，威海

EOS软件升级 当前EOS使用 v0.3.195版本 EOS Citrine 版本 v4.1.27 FUSE访问性能问题 ⇒ 重写EOS FUSE 元数据纵向扩展（scale up） ⇒ 横向扩展（Scale out） EOS Citrine 版本 v4.1.27 优化元数据存储方式为内存数据库KV持久化存储（QuarkDB） 提供新的元数据服务器HA 优化FUSE LHAASO合作组会议，2017，威海

（四）小结 LHAASO计算目前以HTCondor调度系统为主，计算资源采用虚拟机方式，灵活可扩展，但计算资源较紧张 LHAASO存储采用EOS，满足实验需求 跨域计算与数据访问，拓展新的计算资源 EOS将不断完善，提供高效稳定存储支持 LHAASO合作组会议，2017，威海

谢谢！ LHAASO合作组会议，2017，威海