Download presentation
Presentation is loading. Please wait.
1
网格计算 计算中心 张晓梅 伍文静
2
内容 网格证书申请和VO的加入 CMS Tier3 和 Tier2 Atlas Tier3 和 Tier2
3
网格Tier2资源使用 网格证书申请 加入实验VO(虚拟组织) 作业提交,网格存储使用和网格数据传输申请
4
网格证书申请 网格CA中心申请证书 网格证书获取 IHEP Certificate Authority
CERN Certificate Authority 网格证书获取 如果证书申请成功,则申请者将收到邮件回复,提示用户下载证书 邮件中会指明可以通过点击网页链接自动完成下载
5
网格证书申请
6
证书获取
7
加入VO(虚拟组织) 网格资源是通过VO来进行不同实验资源和所属用户权限划分 CMS VO的加入 Atlas VO的加入
加入CMS VO,表示该证书具有CMS网格用户身份 CMS VO的加入 使用个人证书通过网页 Atlas VO的加入
8
CMS Tier3 资源由本地CMS用户使用
9
Tier3 登录节点 IHEP公用登录节点(位于外网) CMS专用登录结点 lxslc5.ihep.ac.cn(SL5系统)
cmsui01.ihep.ac.cn(SL5系统,1个结点,外网)
10
Tier3 计算资源 CMS本地计算资源分为两部分:PBS maui系统管理,HTCondor系统管理
CMS共有 =544个核,其中通过PBS可以使用352个核,HTCondor可以使用192个核 PBS Maui作业提交命令: qsub –q cmsq job.sh condor_submit submit-group cms 队列名 用途 作业时间 用户最大运行数 用户可排队数 队列可排队数 可使用组名/用户名 优先级 操作系统 cmsq 数据分析 无限制 150 500 800 cms 较高 Scientifc Linux(SL) 5.8 cmssq 短作业 12小时 260 低 cmsshortq 极短作业 2小时 248 1000 2000 publicq 公共队列 20 所有用户共享 SL 5.5 调度队列 允许用户组 CPU核数 操作系统 节点列表 单个作业内存上限 job cms 192 Scientifc Linux(SL) 5.8 ams001-ams016 约2.01G
11
Tier3 存储资源 公共存储区域:用于存放公用的数据、代码、软件安装 个人存储区域: 公共存储区域(Lustre文件系统)
/publicfs/cms (220TB) 公共存储区域(AFS文件系统):用于公共软件安装 /afs/ihep.ac.cn/soft/cms/ 个人存储区域: 个人存储区域(Lustre文件系统) :用户个人数据空间 /workfs/cms/afs_user_name (每个用户10G/5万个文件限额,登录节点可读写,计算节点只可读) /scratchfs/cms/afs_user_name(每个用户500G/保存两周,所有节点可读写) 个人存储区域(AFS文件系统) /afs/ihep.ac.cn/users/ (单个用户可用500MB空间)
12
查询配额 可以从登录结点上运行如下命令,查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额。 组的配额
lfs quota -u afs_user_name /workfs lfs quota -u afs_user_name /scratchfs lfs quota -u afs_user_name /publicfs 组的配额 --lfs df -h -p pubfs.cmspool /publicfs
13
Tier3 CMS物理软件 该处软件是由CMS实验统一管理和维护,IHEP本地是只读 /cvmfs/cms.cern.ch/
从所有的登录/计算节点都可以访问
14
CMS Tier2
15
Tier2 资源 Tier2资源是由CMS实验共享 计算资源 存储资源 软件位置: /cvmfs/cms.cern.ch/ 544个核
540TB 软件位置: /cvmfs/cms.cern.ch/
16
Tier2 作业提交 UI: lxslc6, lxslc5, cmsui01以及任何支持CMS VO的登录结点
Voms-proxy-init –voms cms source $VO_CMS_SW_DIR/cmsset_default.sh source /cvmfs/cms.cern.ch/crab/crab.(c)sh crab submit [-c <CRAB-configuration-file> 登陆 UI 网格证书初始化 CMSSW环境初始化 Crab环境初始化 Crab命令作业提交 具体的CMSSW的配置和crab命令可参考:
17
Tier2的存储使用 网格存储SE SE服务器:srm.ihep.ac.cn
与本地存储最大不同:网格存储可以实现与远程网格存储进行安全方便的数据传输 SE服务器:srm.ihep.ac.cn 数据目录在登录节点可读:/pnfs/ihep.ac.cn/data/cms/ 可通过SRM命令进行目录和文件操作 srmls, srmmkdir, srmrm, srmrmdir, srmcp srmls srm://srm.ihep.ac.cn:8443/pnfs/ihep.ac.cn/data/cms
18
Tier2的传输使用 网格传输系统PhEDEx, 是CMS数据集传输系统,与CMS其他网格站点进行大规模数据传输 网格传输是基于网格存储系统
CMS用户可以通过PhEDEx页面进行数据集传输申请、删除申请以及传输监控。 注意事项: 所有传输申请只能基于数据集,而不能用于单个文件的传输。 在进行申请操作之前,用户需要将自己的个人网格证书装载到浏览器。具体操作时PhEDEx将使用浏览器中的网格证书对用户进行身份识别。只有加入CMS VO的用户证书才能有权限进行相关操作。
19
Tier2的传输使用 传输申请 查看传输状态 删除申请
Data Item:所需要传输的数据集 Destination:所需要传输到的目的地(T2_CN_Beijing) 查看传输状态 删除申请 网格数据包含了在DBS注册的元数据以及存储SE的物理数据,因此删除的时候 Data Item: 所要删除的数据集 Destination:所要删除的数据集所在的站点
20
传输申请
21
查看传输状态
22
查看传输状态
23
删除申请
24
ATLAS Tier3资源包括登录节点,计算,存储,软件
25
Tier3 登录节点 IHEP公用登录节点(位于外网) ATLAS专用登录结点 lxslc5.ihep.ac.cn(SL5系统,14个结点)
atlasui01.ihep.ac.cn(SL5系统,1个结点,外网) atlasui03.ihep.ac.cn(SL5系统,1个结点,内网) atlasui04.ihep.ac.cn-atlasui06.ihep.ac.cn (SL6系统,3个节点,内网)
26
登录节点使用规范 登录节点对用户的资源使用进行了限制 使用 ulimit –a 命令可以查看用户限制
cpu time (seconds, -t) 2700 max user processes (-u) 200 virtual memory (kbytes, -v) max memory size (kbytes, -m) cpu time 单个进程的最长CPU时间 max user processes, 单个用户最多运行的进程数目 virtual memory, 单个进程最多使用的虚拟内存大小 max memory size, 单个进程最多使用的内存大小
27
ATLAS队列中一共有576个核,其中atlass6q与atlasl6q共享504个核
Tier3 计算资源 ATLAS队列中一共有576个核,其中atlass6q与atlasl6q共享504个核
28
Tier3 存储资源 公共存储区域:用于存放公用的数据、代码、软件安装 个人存储区域: 公共存储区域(Lustre文件系统)
/publicfs/atlas (32TB) /publicfs/atlas/newatlas(133TB) 公共存储区域(AFS文件系统):用于公共软件安装 /afs/ihep.ac.cn/soft/atlas/ 个人存储区域: 个人存储区域(Lustre文件系统) :用户个人数据空间 /workfs/atlas/afs_user_name (每个用户10G/5万个文件限额,登录节点可读写,计算节点只可读) /scratchfs/atlas/afs_user_name(每个用户500G/保存两周,所有节点可读写) 个人存储区域(AFS文件系统) /afs/ihep.ac.cn/users/ (单个用户可用500MB空间)
29
查询个人配额 可以从登录结点上运行如下命令,查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额。
lfs quota -u afs_user_name /workfs lfs quota -u afs_user_name /scratchfs lfs quota -u afs_user_name /publicfs
30
Tier3 软件 Tier3 ATLAS软件: /cvmfs/atlas.cern.ch/repo/sw/software (从所有的登录/计算节点都可以访问)
31
ATLAS Tier2包括登录,数据下载等操作
32
Tier2 登录 Tier2 登录(CERN登录结点)
在使用CERN的某些服务(如SVN代码Checkout)时,为避免反复密码认证,可以使用Kerberos Ticket认证,在所有ATLAS专用的登录结点上(atlas01/03/04/05/06)执行如下操作: 初始化ticket: (注意大写) 验证Ticket klist
33
Tier2 数据下载 DQ2数据下载(使用DQ2工具将数据直接下载到Tier3存储资源上) DATRI数据下载
source /cvmfs/atlas.cern.ch/repo/sw/ddm/latest/setup.sh export DQ2_LOCAL_SITE_ID=BEIJING-LCG2_LOCALGROUPDISK DATRI数据下载 可以通过DATRI接口,订阅数据到本地Tier2,这种方式适合大批量的数据传输。DATRI会根据用户订阅的数据,选择最佳的源数据,使得数据下载速度加快。 DATRI的访问地址: 在Destination中选择BEIJING-LCG2_LOCALGROUPDISK (8TB存储空间)
34
DATRI
35
参考材料 与ATLAS计算相关的资源 ATLAS Computing twiki: BEIJING_LCG2 ATLAS Site Monitoring:
Similar presentations