网格计算 计算中心 张晓梅 伍文静

内容 网格证书申请和VO的加入 CMS Tier3 和 Tier2 Atlas Tier3 和 Tier2

网格Tier2资源使用 网格证书申请 加入实验VO（虚拟组织） 作业提交，网格存储使用和网格数据传输申请

网格证书申请 网格CA中心申请证书 网格证书获取 IHEP Certificate Authority https://cagrid.ihep.ac.cn/ CERN Certificate Authority https://cernca.cern.ch/cernca/ 网格证书获取 如果证书申请成功，则申请者将收到邮件回复，提示用户下载证书 邮件中会指明可以通过点击网页链接自动完成下载

网格证书申请

证书获取

加入VO（虚拟组织） 网格资源是通过VO来进行不同实验资源和所属用户权限划分 CMS VO的加入 Atlas VO的加入 加入CMS VO，表示该证书具有CMS网格用户身份 CMS VO的加入 使用个人证书通过网页https://voms2.cern.ch:8443/voms/cms/申请 Atlas VO的加入 https://voms2.cern.ch:8443/voms/atlas/

CMS Tier3 资源由本地CMS用户使用

Tier3 登录节点 IHEP公用登录节点（位于外网） CMS专用登录结点 lxslc5.ihep.ac.cn（SL5系统） cmsui01.ihep.ac.cn（SL5系统，1个结点，外网）

Tier3 计算资源 CMS本地计算资源分为两部分：PBS maui系统管理，HTCondor系统管理 CMS共有352+192=544个核，其中通过PBS可以使用352个核，HTCondor可以使用192个核 PBS Maui作业提交命令: qsub –q cmsq job.sh condor_submit submit-group cms 队列名 用途 作业时间 用户最大运行数 用户可排队数 队列可排队数 可使用组名/用户名 优先级 操作系统 cmsq 数据分析 无限制 150 500 800 cms 较高 Scientifc Linux(SL) 5.8 cmssq 短作业 12小时 260 低 cmsshortq 极短作业 2小时 248 1000 2000 publicq 公共队列 20 所有用户共享 SL 5.5 调度队列 允许用户组 CPU核数 操作系统 节点列表 单个作业内存上限 job cms 192 Scientifc Linux(SL) 5.8 ams001-ams016 约2.01G

Tier3 存储资源 公共存储区域：用于存放公用的数据、代码、软件安装 个人存储区域： 公共存储区域（Lustre文件系统） /publicfs/cms (220TB) 公共存储区域（AFS文件系统）：用于公共软件安装 /afs/ihep.ac.cn/soft/cms/ 个人存储区域： 个人存储区域（Lustre文件系统） ：用户个人数据空间 /workfs/cms/afs_user_name （每个用户10G/5万个文件限额，登录节点可读写，计算节点只可读） /scratchfs/cms/afs_user_name（每个用户500G/保存两周，所有节点可读写） 个人存储区域（AFS文件系统） /afs/ihep.ac.cn/users/ （单个用户可用500MB空间）

查询配额 可以从登录结点上运行如下命令，查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额。 组的配额 lfs quota -u afs_user_name /workfs lfs quota -u afs_user_name /scratchfs lfs quota -u afs_user_name /publicfs 组的配额 --lfs df -h -p pubfs.cmspool /publicfs

Tier3 CMS物理软件 该处软件是由CMS实验统一管理和维护，IHEP本地是只读 /cvmfs/cms.cern.ch/ 从所有的登录/计算节点都可以访问

CMS Tier2

Tier2 资源 Tier2资源是由CMS实验共享 计算资源 存储资源 软件位置： /cvmfs/cms.cern.ch/ 544个核  540TB 软件位置： /cvmfs/cms.cern.ch/

Tier2 作业提交 UI: lxslc6, lxslc5, cmsui01以及任何支持CMS VO的登录结点 Voms-proxy-init –voms cms source $VO_CMS_SW_DIR/cmsset_default.sh source /cvmfs/cms.cern.ch/crab/crab.(c)sh crab submit [-c <CRAB-configuration-file> 登陆 UI 网格证书初始化 CMSSW环境初始化 Crab环境初始化 Crab命令作业提交 具体的CMSSW的配置和crab命令可参考： https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial

Tier2的存储使用 网格存储SE SE服务器：srm.ihep.ac.cn 与本地存储最大不同：网格存储可以实现与远程网格存储进行安全方便的数据传输 SE服务器：srm.ihep.ac.cn 数据目录在登录节点可读：/pnfs/ihep.ac.cn/data/cms/ 可通过SRM命令进行目录和文件操作 srmls, srmmkdir, srmrm, srmrmdir, srmcp srmls srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms

Tier2的传输使用 网格传输系统PhEDEx, 是CMS数据集传输系统，与CMS其他网格站点进行大规模数据传输 网格传输是基于网格存储系统 CMS用户可以通过PhEDEx页面进行数据集传输申请、删除申请以及传输监控。 注意事项： 所有传输申请只能基于数据集，而不能用于单个文件的传输。 在进行申请操作之前，用户需要将自己的个人网格证书装载到浏览器。具体操作时PhEDEx将使用浏览器中的网格证书对用户进行身份识别。只有加入CMS VO的用户证书才能有权限进行相关操作。

Tier2的传输使用 传输申请 查看传输状态 删除申请 https://cmsweb.cern.ch/phedex/prod/Request::Create?type=xfer Data Item:所需要传输的数据集 Destination：所需要传输到的目的地（T2_CN_Beijing） 查看传输状态 https://cmsweb.cern.ch/phedex/prod/Data::Subscriptions#state=create_since%3D1441783541%3Bnode%3DT2_CN_Beijing 删除申请 网格数据包含了在DBS注册的元数据以及存储SE的物理数据，因此删除的时候 https://cmsweb.cern.ch/phedex/prod/Request::Create?type=delete Data Item: 所要删除的数据集 Destination：所要删除的数据集所在的站点

传输申请

查看传输状态

查看传输状态

删除申请

ATLAS Tier3资源包括登录节点，计算，存储，软件

Tier3 登录节点 IHEP公用登录节点（位于外网） ATLAS专用登录结点 lxslc5.ihep.ac.cn（SL5系统，14个结点） atlasui01.ihep.ac.cn（SL5系统，1个结点，外网） atlasui03.ihep.ac.cn（SL5系统，1个结点，内网） atlasui04.ihep.ac.cn-atlasui06.ihep.ac.cn （SL6系统，3个节点，内网）

登录节点使用规范 登录节点对用户的资源使用进行了限制 使用 ulimit –a 命令可以查看用户限制 cpu time (seconds, -t) 2700 max user processes (-u) 200 virtual memory (kbytes, -v) 500000 max memory size (kbytes, -m) 4194304 cpu time 单个进程的最长CPU时间 max user processes, 单个用户最多运行的进程数目 virtual memory, 单个进程最多使用的虚拟内存大小 max memory size, 单个进程最多使用的内存大小

ATLAS队列中一共有576个核，其中atlass6q与atlasl6q共享504个核 Tier3 计算资源 ATLAS队列中一共有576个核，其中atlass6q与atlasl6q共享504个核

Tier3 存储资源 公共存储区域：用于存放公用的数据、代码、软件安装 个人存储区域： 公共存储区域（Lustre文件系统） /publicfs/atlas (32TB) /publicfs/atlas/newatlas(133TB) 公共存储区域（AFS文件系统）：用于公共软件安装 /afs/ihep.ac.cn/soft/atlas/ 个人存储区域： 个人存储区域（Lustre文件系统） ：用户个人数据空间 /workfs/atlas/afs_user_name （每个用户10G/5万个文件限额，登录节点可读写，计算节点只可读） /scratchfs/atlas/afs_user_name（每个用户500G/保存两周，所有节点可读写） 个人存储区域（AFS文件系统） /afs/ihep.ac.cn/users/ （单个用户可用500MB空间）

查询个人配额 可以从登录结点上运行如下命令，查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额。 lfs quota -u afs_user_name /workfs lfs quota -u afs_user_name /scratchfs lfs quota -u afs_user_name /publicfs

Tier3 软件 Tier3 ATLAS软件： /cvmfs/atlas.cern.ch/repo/sw/software （从所有的登录/计算节点都可以访问）

ATLAS Tier2包括登录，数据下载等操作

Tier2 登录 Tier2 登录（CERN登录结点） 在使用CERN的某些服务（如SVN代码Checkout）时，为避免反复密码认证，可以使用Kerberos Ticket认证，在所有ATLAS专用的登录结点上（atlas01/03/04/05/06）执行如下操作： 初始化ticket: kinit afs_user@CERN.CH （注意大写） 验证Ticket klist 

Tier2 数据下载 DQ2数据下载（使用DQ2工具将数据直接下载到Tier3存储资源上） DATRI数据下载 source /cvmfs/atlas.cern.ch/repo/sw/ddm/latest/setup.sh export DQ2_LOCAL_SITE_ID=BEIJING-LCG2_LOCALGROUPDISK DATRI数据下载 可以通过DATRI接口，订阅数据到本地Tier2，这种方式适合大批量的数据传输。DATRI会根据用户订阅的数据，选择最佳的源数据，使得数据下载速度加快。 DATRI的访问地址：http://panda.cern.ch:25980/server/pandamon/query?mode=ddm_req 在Destination中选择BEIJING-LCG2_LOCALGROUPDISK (8TB存储空间)

DATRI

参考材料 与ATLAS计算相关的资源 ATLAS Computing twiki: http://twiki.ihep.ac.cn/twiki/bin/view/ATLAS/ATLASComputing BEIJING_LCG2 ATLAS Site Monitoring: http://casbak.ihep.ac.cn/cgi-bin/ATLASMON/atlas