BESIII 计算环境&DST数据报告人：文硕频物理软件组 2019年4月23日.

BESIII 计算环境&DST数据报告人：文硕频物理软件组 2019年4月23日

BESIII offline software
报告内容一、BESIII工作环境二、CVS权限控制三、AFS简介四、BESIII离线软件(BOSS)网站五、DST数据及软件六、BOSS里递交PBS作业七、BOSS数据 2019/4/23 BESIII offline software

BESIII工作主要在lxplus上完成。目前lxplus有两个前台工作节点(lxplus01和lxplus02),8个后台运行作业节点; 如果在besfarm上已经有帐号,则lxplus也有帐号,lxplus上帐号和密码与原besfarm上帐号和密码一样.如果忘记密码,请找计算中心杨毅(6007)修改; 在besfarm没有帐号,需要lxplus帐号,则经过组长同意后,请将姓名,电话,组名等信息提供给我,我将向计算中心申请为您开设帐号,无特殊情况,帐号名为正规缩写,如wensp;密码为:用户名;123,如wensp;123.一般1~2天之后帐号即可使用,请使用ssh –l usersname lxplus.ihep.ac.cn登陆和yppasswd usesname 修改密码; 从所外登陆lxplus,先登陆lxplus03; lxplus上用户盘空间(~)为1G,计算中心一个月备份一次; 2019/4/23 BESIII offline software

如果有AFS帐号,则/afs/下有2G空间,计算中心一个月备份一次; lxplus上的数据盘(/besdata),使用空间需李卫东老师同意; BESIII 软件源代码由CVS控制管理,位于服务器koala上,如果需要check out源代码,还需要koala上CVS的帐号,经李老师批准之后,请将姓名,电话,组名提供给我,开设的CVS帐号和密码一般为名字的正规缩写,如:用户名wensp,密码:wensp; 有关CVS的使用详见马秋梅的报告. 2019/4/23 BESIII offline software

CVS中权限控制 BESIII离线软件系统(BOSS)的源代码库建立在服务器koala上,由CVS来控制管理; 每个用户在使用源代码库之前，首先要把源代码库里的项目文件下载到本地，然后用户可以在本地任意修改，最后用CVS命令进行提交(commit)，由CVS源代码库统一管理修改。 CVS通过perl脚本文件cvs_acls来检查用户是否具有提交的权限; 而avail文件定义了用户是否具有提交代码到CVS代码库的权限; ……………… avail | codeman |BossCvs avail | hekl,maqm,zhangxy,wangll,liubj,youzy |BossCvs/Analysis avail | codeman |BossCvs/Analysis/AnalysisDemoAlg avail | liubj |BossCvs/Analysis/BKlamsVTX avail | hekl |BossCvs/Analysis/BParticle 所以如果你需要提交源代码到CVS代码库,必须先向CVS管理者申请获得commit的权限. 2019/4/23 BESIII offline software

AFS简介 AFS是一种分布式文件系统，主要负责分布式条件下的文件管理工作。AFS是一种能够在空间上跨物理设备的文件系统。其可以在局域网或广域网内实现文件系统的功能，可以同时对若干台物理设备的文件进行管理。因此，AFS能够提供较好的异地访问文件的功能。 AFS提供的文件共享功能，使用户目录能够同时在局域网和广域网内实现共享，以便用户登录任一计算环境时，即可像使用本地文件一样访问个人目录。利用AFS提供的身份验证机制和访问控制机制，为用户提供更安全、更私密的文件存储； 2019/4/23 BESIII offline software

AFS简介目前AFS服务器由计算中心系统组负责管理。申请AFS帐号，必须填写AFS帐号申请表，并经用户所在课题组长、室主任签字后，送交计算中心审核。 AFS申请表可在计算中心主页上下载: 2019/4/23 BESIII offline software

AFS简介由于AFS是运行于操作系统上的一种分布式文件系统，用户通过执行"klog ［username］"命令，并输入正确的密码后，便可取得tokens（用户可以使用"tokens"命令检查是否正确获得tokens）。对于使用AFS帐号的用户必须使用"kpasswd ［username］"命令更改个人密码。当用户离开AFS时，需要利用"unlog"命令注销AFS的tokens。出于安全考虑，AFS的tokens具有时效性，通常情况下，自登录起25小时后tokens会失效，需要延长tokens有效期的用户可以在tokens过期之前再次执行"klog ［username］"命令。 AFS具有丰富的命令集，能够提供强大的功能。其命令的基本格式为："命令集名命令名参数"（如：bos listhosts 参数），其具体情况可通过"命令集名 help"查询。在AFS命令集中，与用户密切相关的命令集主要是fs命令集，此命令集主要用于对文件服务器的操作，包括查询文件信息、修改磁盘份额、建立新的mount点等操作。 2019/4/23 BESIII offline software

AFS简介 AFS安全性更高，其访问控制功能使用户对个人目录下的文件具有更细致、更安全的访问控制权限，能够做到单个文件对某个人或某个工作组的访问控制: r :reading of files w :writing to files k :locking of files l :the right to search for files in i :creation of new files or directories the directory, i.e. list which d :deletion of files files it contains a :the right to change the ACL all:r+w+k+l+i+d+a none:entry read:r+l write:r+w+k+l+i+d, 2019/4/23 BESIII offline software

AFS简介 fs listacl:查看所指定的目录的访问控制权限. $ fs listacl /afs/ihep.ac.cn/users/w/wensp Access list for /afs/ihep.ac.cn/users/w/wensp is Normal rights: system:administrators rlidwka system:anyuser rl wensp rlidwka fs setacl:设定用户个人目录的访问控制权限；如:设定用户sunyz对/afs/ihep.ac.cn/users/w/wensp目录具有rwl的权限 $ fs setacl /afs/ihep.ac.cn/users/w/wensp sunyz rwl sunyz rwl 2019/4/23 BESIII offline software

BOSS网站 BOSS内部网站地址: ( 2019/4/23 BESIII offline software

BOSS网站主要包括以下内容: BOSS基本信息: BOSS软件介绍文档 BOSS用户指导和视频资料 ducuments 一些链接离线软件的计划,安排和进展开发成员组成,合作单位等 mailing lists 会议的报告每个模块的软件的介绍和使用软件的质量保证数据说明 CVS代码库的链接 User’ support Developer’s how-to Video lectures 发表的文章学生论文 Notes 用到的一些软件的介绍 2019/4/23 BESIII offline software

BOSS网站目前BOSS网站的管理采用CVS服务器和WinCvs相结合的方式; 网页的源代码放置在CVS服务器上,开发人员可以从CVS上checkout网页文件,在windows下使用WinCvs来进行修改,然后通过WinCvs将修改的网页文件提交到CVS服务中,也可以将新的文件增加到CVS中; 因为目前CVS服务器和BOSS网站服务器不是同一台计算机,所以当用户对网页做的修改之后,需要通知网站管理者进行更新; CVS是目前比较流行与优秀的版本管理与控制工具，是用来管理日常代码和文档的一个强有力的工具。 WinCvs是CVS的一个客户端软件。 2019/4/23 BESIII offline software

BOSS网站-WinCvs介绍 2019/4/23 BESIII offline software

BOSS网站-WinCvs介绍 WinCvs软件介绍以及相关软件可以从下载安装好WinCvs后，就需要配置服务端了。 2019/4/23 BESIII offline software

BOSS网站-WinCvs介绍配置完后，应该登录以使服务端记住你的登录名和密码。登录成功后输出日志窗口中显示： ***** CVS exited normally with code 0 ***** 2019/4/23 BESIII offline software

BOSS网站-WinCvs介绍 WinCvs主要提供了如下的操作: 检出（checkout）项目--从服务端检出修改提交文件到服务端更新文件--将服务端文件更新到本地添加文件-将文件添加到服务器删除文件-将文件从本地删除提交版本-将项目中文件固定一个版本查看文件的状态 2019/4/23 BESIII offline software

BESIII Data Store BOSS的数据存储为树结构每个对象用它在tree中的位置来识别,用字符串来表示,如“/Event”或“/Event/Dst/DstMdcTrack” TDS 2019/4/23 BESIII offline software

Loading from Data Store
Algorithm (1) Retrieve object Unsuccessful if requested object is not present (3) Request load Persistency Service Converter (4) Request creation Conversion Service Request dispatcher Objy, ROOT,.. Data Store Data (2) Search in Store (5) Register 2019/4/23 BESIII offline software

DST数据相关 2019/4/23 BESIII offline software

DST数据在TDS位置 DST数据在BESIII数据模型中存储位置:/Event/Dst/, EventModel::EventHeader = "/Event"; EventModel::Dst::Event = EventModel::EventHeader + "/Dst"; EventModel::Dst::DstMdcTrackCol = EventModel::Dst::Event + "/DstMdcTrackCol"; EventModel::Dst::DstMdcKalTrackCol = EventModel::Dst::Event+ "/DstMdcKalTrackCol"; EventModel::Dst::DstDedxCol = EventModel::Dst::Event + "/DstDedxCol"; EventModel::Dst::DstTofTrackCol = EventModel::Dst::Event + "/DstTofTrackCol"; EventModel::Dst::DstEmcTrackCol = EventModel::Dst::Event + "/DstEmcTrackCol"; EventModel::Dst::DstMucTrackCol = EventModel::Dst::Event + "/DstMucTrackCol"; EventModel::Dst::DstExtTrackCol = EventModel::Dst::Event + "/DstExtTrackCol"; 2019/4/23 BESIII offline software

DST数据相关的包 DstEvent:Dst数据的定义; DstMakerAlg:从TDS中获取Reconstruct event 转换成Dst Event,再regeister到TDS中; RootCnvSvc:实现TDS与Root文件之间的双向转换; RootEventData:Dst数据的ROOT格式定义; 2019/4/23 BESIII offline software

DST数据使用 TDS->File 从TDS对象到字节流数据的转换一般发生在用户模块的事例处理结束需要进行数据存储的时候. Ouput Stream就是BOSS框架专门负责管理输出数据流的对象.当每个事例处理结束时,Output Stream就负责收集JobOptions服务所定义的存储的TDS路径,调用合适的转换服务进行格式转换以便最后写入数据文件中. 2019/4/23 BESIII offline software

DST数据使用 JobOptions: ApplicationMgr.DLLs += {"DstMakerAlg", "RootCnvSvc","RootIO" }; ApplicationMgr.TopAlg += { "DstEventMaker" , "RootIoAlg" }; EventPersistencySvc.CnvServices += {"RootCnvSvc"}; // items to be written out and configuration of OutStream ApplicationMgr.OutStream = {“RootWriter”}; //创建一个名字叫RootWriter的output stream RootWriter.ItemList = {“/Event/Dst#99”};//写入对象的路径 // {"/Event/Dst/DstMdcTrackCol#99"}; // properties of the Root service RootWriter.Output = “ TYP=‘ROOT’”;//文件的输出类型 RootCnvSvc.digiRootOutputFile = “Dst.root”;//输出文件的名字 2019/4/23 BESIII offline software

DST数据使用从文件中读DST数据 JobOptions: #include "$ROOTIOROOT/share/jobOptions_ReadDst.txt“ // Input DST file name RootEvtSelector.Input = "ROOT"; EventCnvSvc.digiRootInputFile = “Dst.root”;//v5.0.0 or EventCnvSvc.digiRootInputFile = {“Dst1.root”,”Dst2.root”} ; //nightly_build 2019/4/23 BESIII offline software

LXPLUS上怎样在boss里递交 PBS作业
设置环境,在~/.tcshrc按顺序加上： source ~/cmthome/setupCMT.csh source ~/cmthome/setup.csh source ~/workarea/TestRelease/TestRelease **/cmt/setup.csh JobOption里的文件输入输出要写上绝对路径，比如在JobOption_rec.txt里： EventSelector.InputFiles="/ihepbatch/bes/sunyz/workarea/TestRelease/TestRelease /run/AsciiDmp_out.dat"; 使用“boss”（可以使用boss –h来获取帮助）来递交作业： boss –q 作业名注意:每个运行中的后台作业都会产生作业名.bosslog和作业名.bosserr 两个文件，所以递交多个作业时每个作业的作业名应该不一样.. 2019/4/23 BESIII offline software

LXPLUS上怎样在boss里递交 PBS作业
如用数据run10100.dat做50000个事例重建,JobOptions:rec.txt 在lxplus上输入命令: boss -q rec.txt 2019/4/23 BESIII offline software

PBS常用命令 qstat : 用来显示批处理作业的状态（作业、队列和批处理服务器） qstat -a 显示当前所有的队列作业状态 qstat –an 显示当前所有的队列作业状态及作业运行的节点 qdel : 用来删除PBS的批处理作业先用qstat –a 来查出Job ID，然后用：qdel “Job ID” （如qdel 26001）注意:用户只能删除自己的队列 2019/4/23 BESIII offline software

目前BESIII的数据存放在lxplus上,路径为: /besdata/public/offline/data/ MCv5.0.0/ : BOSS版本为5.0.0的模拟数据 MCv5.1.0/ : BOSS版本为5.1.0的模拟数据 REC/:重建数据 ZYv5.0.0/:使用张瑶的重建程序,BOSS版本为5.0.0 ZSLv5.0.0/:使用藏石磊的重建程序,BOSS版本为5.0.0 关于Data文件的详细可以查看besdata/public/offline/data/MCv5.0.0/下的Readme文件; 或BOSS主页 2019/4/23 BESIII offline software

2019/4/23 BESIII offline software

谢谢! 2019/4/23 BESIII offline software

BESIII 计算环境&DST数据报告人：文硕频物理软件组 2019年4月23日.

Similar presentations

Presentation on theme: "BESIII 计算环境&DST数据报告人：文硕频物理软件组 2019年4月23日."— Presentation transcript:

Similar presentations

About project

反馈

请登录

Auth with social network:

BESIII 计算环境&DST数据 报告人：文硕频 物理软件组 2019年4月23日.

Similar presentations

Presentation on theme: "BESIII 计算环境&DST数据 报告人：文硕频 物理软件组 2019年4月23日."— Presentation transcript:

Similar presentations

About project

反馈

BESIII 计算环境&DST数据报告人：文硕频物理软件组 2019年4月23日.

Presentation on theme: "BESIII 计算环境&DST数据报告人：文硕频物理软件组 2019年4月23日."— Presentation transcript: