CMS网格的使用 张晓梅 2007.9.7.

Presentation on theme: "CMS网格的使用 张晓梅 2007.9.7."— Presentation transcript:

1 CMS网格的使用 张晓梅

2 content CMSSW软件版本的使用和统一 利用Dcap协议CMSSW直接使用SE(cmsse01.ihep.ac.cn)数据的方法
Phedex的使用介绍 CAS07 project and T2_Beijing

3 CMSSW版本使用的统一 意义： 做法： 鉴于CMSSW在本地的调试版本需要和网格上的运行版本保持一致，才能保证数据的正确运行
易于管理，作为CMS的T2_beijing站点，CMSSW可以有CMS统一的软件管理员定期地更新和安装 实现方便，采用NFS或AFS就可以实现CE和UI之间的共享 做法： 向CMS 软件管理员提出申请，保证实时的软件更新 在lcg003，cmssv01等UI和lcg002(CE)之间进行NFS文件系统共享 当前的共享目录为/opt/exp_soft/cms/slc3_ia32_gcc323/cms/cmssw，该目录的版本有CMSSW_1_2_0 CMSSW_1_2_1 CMSSW_1_2_2 CMSSW_1_2_3 CMSSW_1_2_4 CMSSW_1_2_6 CMSSW_1_3_0 CMSSW_1_3_1 CMSSW_1_3_2 CMSSW_1_3_3 CMSSW_1_4_0 CMS要求安装的1_5_x 以上版本运行在SLC4的worknode上,以后CMS VO的运行worknode的操作系统将更新成SLC4上

4 利用Dcap协议 CMSSW直接获取SE数据
Dcap协议是由SE系统Dcache (cmsse01)提供的local(局域网)数据读取协议. 意义： 大批量数据读取的需要 , 对于网格作业存放在SE上数据，特别是针对将来Phedex系统获取和存放在SE的大批量数据的读取 与CMSSW软件使用直接结合，操作方便。以前对SE操作，首先需要使用globus-url-copy命令将数据拷贝到本地，然后进行分析；现在可以直接对SE上的数据进行分析。 条件： 利用dcap协议,因此希望所运行的机器都装成UI（含有Dcap的客户端） 利用TFC(Trivial File Catalog)小型文件目录，简化dcap的写法

5 利用Dcap协议 CMSSW直接获取SE数据
使用以及实现 直接使用Dcap方式 source = PoolSource{ untracked vstring fileNames ={ 'dcap://cmsse01.ihep.ac.cn:22125/pnfs/ihep.ac.cn/data/cms/yangm/QCD/pt015/DataFEVT_1.root' } untracked int32 maxEvents = 10 } 利用TFC方式 untracked vstring fileNames ={ '/yangm/QCD/pt015/DataFEVT_18.root' } untracked string catalog ='trivialcatalog_file://home/zhangxm/cms/SITECONF/local/PhEDEx/storage.xml?protocol=dcap' Note: 该方法需要将storage.xml放置在指定的目录/home/zhangxm/cms/SITECONF/local/PhEDEx/storage.xml下

6 利用Dcap协议 CMSSW直接获取SE数据
-利用Site_local_config.xml和TFC方式结合 source = PoolSource{ untracked vstring fileNames ={ '/yangm/QCD/pt015/DataFEVT_1.root' } untracked int32 maxEvents = 10 } Note: 该方法需要将storage.xml放置在指定的目录/home/zhangxm/cms/SITECONF/local/PhEDEx/storage.xml下，而且需要将编辑好的Site_local_config.xml文件置于目录$CMT_PATH/SITECONF/local/JobConfig/下，在这里我们设置CMT_PATH为/home/zhangxm/cms。 Site_local_config.xml的作用：说明TFC(storage.xml）文件的所在。 Storage.xml的作用：简化Dcap协议的写法，用逻辑名代替复杂的dcap协议使用的物理名。

7 删除SE(cmsse01.ihep.ac.cn)目录的脚本SErmdir的用法
目的： 方便删除带有大量文件的目录，edg-gridftp-*命令的rmdir只提供删除空目录。 用法： SErmdir dir1 dir2 … Note:暂限于cmsse01.ihep.ac.cn；

8 Phedex 系统 The data placement and the file transfer system for the CMS experiment, controlling data transferring status, data subscription, data distribution etc and working well with DBS, DLS system. components: TMDB (Transfer management database) Agents (transferring agents and management agents…) Web monitoring tools User subscription web pages 高能所站点 T2_Beijing Chen guoming Site manager Zhang xiaomei Data manager

9 Phedex网页介绍 Instance: Production, Debug, Dev Parts: View
Different instances for different activities Production for useful experiment data Debug for test data Parts: Data:各站点数据的存在，subscription, delete的状态 Request:用户提交申请，管理员批准申请以及各种申请的状态和信息 Activity: monitoring the transferring status Component: monitoring the site agents status View My:显示登录用户有关的信息 Global：全部的站点信息

10 使用Phedex进行数据申请 登录Phedex系统 预订所需要的数据
使用Hypernews帐号或SiteDB帐号登录，如果有CERN Unix Account,可以使用ssh hypernews.cern.ch登录获得Hypernews帐号 使用用户证书认证登录，在这种情况下需要向phedex系统管理员申请注册 一般用户申请第一种比较方便 预订所需要的数据 浏览数据 在phedex主页上栏目Data->Replicas 在DBS主页 预订所需数据 在phedex主页上栏目Requests->Create Request 直接点击数据item后的ｍｏｒｅ->Create PhEDEx subscription ，例如： /tt4j/CMSSW_1_3_1-Spring /GEN-SIM-DIGI-RECO « more » 系统会以 通知申请人以及本站点的DataManager 检查申请的情况 在phedex主页上栏目Requests->View Requests以及Requests->Request Details 所有的申请create以后都必须由该站点的DataManager来提交(subscribe)，Requests->Administer Requests 则由DataManager来进行所有站点申请的管理

11 CAS07 activity Computing, Software, and Analysis challenge 2007 Goals: test all elements of the CMS computing model at greater than 50% of the target rate expected from low luminosity data taking Phedex(T2): Transfer data from a Tier-1 to any Tier-2 centers with 12 hour bursts between 20~200MB/s Transfer data from Tier-2 to the associated Tier-1 center at 10MB/s Demonstrate analysis processing at Tier-2 centers driven by user submissions As a cache storage, will subscribe and delete data with the changing needs of the physics users Simulate 50M events every month using the Tier2 centers 10%storage used for simulation Migrate to SLC4 and CMSSW1_6_0 The sites not upgraded will be used for simulation using CMSSW_1_4 for slc3

12 CSA07 activity T2 activities: Availability of SL4 Nodes
Installation and Validation of CMSSW_1_5_x or CMSSW_1_6_x Created Load Test Sample Debug PhEDEx Agents Configured and Running At least one LoadTest07 Subscription from Tier-1 site in Debug At least one LoadTest07 Subscription to Tier-1 site in Debug DDT Commissioning of Download Link from at least one Tier-1 site >300GB/day for at least 4 days out 5 in a row Total transfer volume in excess of 1.7TB DDT Commissioning of Upload Link to at least one Tier-1 site Move at least one block of a CMSSW_1_5_x digi reco sample Successful Access of the sample with an analysis application through CRAB

13 The situation in T2_Beijing
Update one work node on slc4 for CMS Shortage of CPU Other VOs is still on slc3 The SE disk space in T2_Beijing is 1TB 600GB Loadtest sample exported to T1 0GB Loadtest data from T1 200GB user data 200GB for production data from T1? Develop two links(In2p3, FNAL) 10.8 MB/s from FNAL 6.1MB/s from In2p3 To FNAL, In2p3 undergoing Any other links needed(PIC, RAL, CERN, ASGC, FZK, CNAF…)?