BESIII Dcache存储 设计与实现 闫晓飞 高能物理研究所 计算中心 2013年7月4日 2019/4/8

序 本报告主要介绍网格存储及其在BESIII数据管理中的应用， 以及dCache的数据传输协议。 2019/4/8

Outline BESIII数据存储现状 选择dCache的原因 dCache Setup For BESIII 2019/4/8

BESIII数据存储现状 2019/4/8

数据存储在计算中心本地Lustre系统 BES数据主要存储在Lustre系统上 现在有3个mount点可以通过登陆节点和计算节点直接访问： Luster是一个并行的文件存储系统 Lustre具有非常好的读写性能. 现在有3个mount点可以通过登陆节点和计算节点直接访问： 2019/4/8

Storage on Lustre locally at IHEP 为什么会有3个mount点 3个mount点存储不同类型的BES数据。 另一个原因是每个mount点文件数量的限制 用户可以通过普通的linux命令直接访问lustre上的数据。 数据访问权限根据用户id和组id来控制。 作业的输出直接写入Lustre文件系统。 2019/4/8

选择dCache的原因 2019/4/8

2019/4/8

分布式计算和存储 BESIII 目前有很多合作单位 需要分布式的计算和数据处理 Lustre适合本地使用，本身没有远程广域网访问接口。 （俄罗斯JINR，深圳，南京大学,UMN…） 需要分布式的计算和数据处理 Lustre适合本地使用，本身没有远程广域网访问接口。 分布式数据存储的安全性（使用网格证书来进行认证） 使用基于网格的存储系统 2019/4/8

为什么使用dCache dCache是德国DESY开发的成熟的网格存储系统。 开发团队很负责，跟用户建立的很好的交流 目前为CMS部署的dCache系统运行稳定，性能良好。 很多网格站点使用dCache系统 （CC-IN2P3, DESY, 几乎所有美国和加拿大的网格站点） 支持TSM（Tertiary Storage System）接口可以联接Lustre存储系统。 功能丰富，接口丰富，很多数据管理的工具。 没有文件数量的限制 单一的命名空间 2019/4/8

dCache setup for BESIII 2019/4/8

A running dCache instance Head nodes ……. Srm utilityDomain infoProvider dcap Srm.ihep.ac.cn pnfsManager dirDomain sepnfs.ihep.ac.cn lmDomain poolManager adminDoor httpDomain gplazmaService seadmin.ihep.ac.cn Pool nodes Poolnodes Disk array box 1X12TB Raid 5 + Hot spare 4GB FC HBA card connected to poolnode 1 Gridftp Gsiftp Dcap1 Dcap2 Dcap3 Dcap4 Dcache-pool Poolnodes Disk array box 1X12TB Raid 5 + Hot spare 4GB FC HBA card connected to poolnode n Gridftp Gsiftp Dcap1 Dcap2 Dcap3 Dcap4 Dcache-pool Poolnodes Disk array box 1X12TB Raid 5 + Hot spare 4GB FC HBA card connected to poolnode2 Gridftp Gsiftp Dcap1 Dcap2 Dcap3 Dcap4 Dcache-pool 2019/4/8

dCache Introduce dCache是基于JAVA开发的一个分布式存储管理系统。 可以对海量的数据进行管理。 可以通过HSM(Hierarchical Storage Management)整合许多存储类型。 支持自动文件副本管理，达到系统的负载均衡。 支持许多文件传输协议。 支持许多认证方式。 支持信息发布、状态监控和详细的日志记录系统 …… 2019/4/8

dCache Setup For BESIII 目前是单一服务器模式，可以扩展为多服务器模式。 一个文件服务器 DELL R720 2XCPU MEM 32GB 两个盘阵服务器 24盘位盘阵服务器可用空间126TB（63TBX2） 10Gb交换机 gPlazma Admin tools Pool manager Head Node dCache instance Srm 接口 Gridftp + dCap NFS Webdav 10Gb 网卡 3TBX24 Raid 6+1 Disk Arrays 8Gb FC光纤 HBA卡 2019/4/8

dCache数据管理 P2P（ pool to pool data transfer) Replica manager Billing 可以把一个盘阵上的所有文件移动到另一个盘阵 Replica manager 可以对热点文件自动增加副本，来做到自动的负载均衡 对设定的目录配置文件副本数量 Billing 数据传输的统计 基于数据库的单一命名空间 安全认证（gPlazma） 基于网格证书的 VO role group 认证 2019/4/8

安全认证gPlazma dCache通过gPlazma服务进行验证 支持基于网格证书的认证 基于kerberos5的认证 用户需要有网格证书，并加入一个虚拟组织(Virtual Organization)。 基于kerberos5的认证 可以使用原有的统一的认证系统 支持基于用户名密码认证 2019/4/8

信息发布BDII dCache系统发布统一的网格信息。 可以通过ldap客户端查看信息。 支持的用户组信息 可用空间信息 支持的传输协议和访问地址 2019/4/8

状态监控 http://bes-srm.ihep.ac.cn:2811/ 2019/4/8

数据传输协议-Gridftp 网格系统中最主要的广域网文件传输协议。 类似于FTP的传输协议，基于网格证书的安全认证。 支持文件和目录的读、写、创建、浏览。 可以设定传输流。 2019/4/8

数据传输协议 dCap dCache本地数据传输协议 Root可以支持dcap协议,可以直接打开dCache上存储的文件 dccp -d 2 dcap://bes-srm.ihep.ac.cn/dcache/bes/test/WIN2008.img /tmp/etest 2019/4/8

数据传输协议 webdav 基于http的通用数据传输协议。 可以直接使用wget 和http下载工具访问数据。 可以使用windos 和 mobile phone 客户端访问数据 一些软件使用像浏览本地目录 打开文件需要全部下载 2019/4/8

数据传输协议 SRM SRM （Storage resource manage） 网格的通用数据传输协议 支持数据的读、写、删除。目录创建、浏览、删除。 不支持文件打开，文件片段的修改。 2019/4/8

Compare With Lustre Single mount point No limit for files inode Many manage and admin tools. Many kind of Authentication Grid certificate authenticate Voms role group authenticate Kerbose Many kind of transfer protocol SRM, Gridftp, dCacp, http, xrootd 2019/4/8

其它BES站点使用的Storage Element JINR BESIII storage element Total 3.6TB (From BDII info) 2019/4/8

Thanks & Questions 2019/4/8