BESIII离线数据处理软件系统 邓子艳 中科院高能所 2011年7月 四川成都.

Slides:



Advertisements
Similar presentations
第六 章数据库访问页 6.1 数据访问页视图 6.2 创建数据访问页 6.3 编辑数据访问页 6.4 查看数据访问页 退出.
Advertisements

BES3分析软件系统 何康林 中科院高能所,南京 2008.
经济新闻集锦.
第三章 数据类型和数据操作 对海量数据进行有效的处理、存储和管理 3.1 数据类型 数据源 数据量 数据结构
实用操作系统概念 张惠娟 副教授 1.
基于解释性语言的手机跨平台架构 Sloan Yi. Qt MTK.
Oracle数据库 Oracle 子程序.
全国计算机等级考试 二级基础知识 第二章 程序设计基础.
Information & Security System in China China North Eastern Air Traffic Control Bureau (CAAC) Customer Background Subsidiary of General Administration of.
实验物理与计算资源 Zhang Shaoqiang March 22, 2004.
高能物理实验离线数据处理 李卫东 计算中心,2016/11/04.
Linux 切换、 创建和删除目录 系统管理 宁波市高校慕课联盟课程
Hadoop I/O By ShiChaojie.
SVN的基本概念 柳峰
Chinese Virtual Observatory
从现在做起 彻底改变你自己 Sanjay Mirchandani EMC公司高级副总裁、首席信息官.
存储系统.
BES软件发展与现状 刘怀民 高能物理计算与软件会议 东莞,2016/6/6
SOA – Experiment 3: Web Services Composition Challenge
李杰 首都经济贸易大学 安全与环境工程学院 个人主页:
SVN服务器的搭建(Windows) 柳峰
第11章:一些著名开源软件介绍 第12章:服务安装和配置 本章教学目标: 了解当前一些应用最广泛的开源软件项目 搭建一个网站服务器
大数据管理技术 --NoSQL数据库 HBase 陈 辉 大数据分析技术.
Visual Studio Team System 简介
DM81X 视频采集处理 ——简单采集显示例程讲解 广州创龙电子科技有限公司
Windows网络操作系统管理 ——Windows Server 2008 R2.
Windows网络操作系统管理 ——Windows Server 2008 R2.
大亚湾反应堆中微子实验 离线软件 何苗 中国科学院高能物理研究所
第十章 IDL访问数据库 10.1 数据库与数据库访问 1、数据库 数据库中数据的组织由低到高分为四级:字段、记录、表、数据库四种。
第17章 网站发布.
Online job scheduling in Distributed Machine Learning Clusters
逆向工程-汇编语言
数据挖掘工具性能比较.
PaPaPa项目架构 By:Listen 我在这.
CPU结构和功能.
用event class 从input的root文件中,由DmpDataBuffer::ReadObject读取数据的问题
DevDays ’99 The aim of this mission is knowledge..
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
Unit 11.Operating System 11.1 What’s OS 11.2 Related Courses
程序设计工具实习 Software Program Tool
SOA – Experiment 2: Query Classification Web Service
内容摘要 ■ 课程概述 ■ 教学安排 ■ 什么是操作系统? ■ 为什么学习操作系统? ■ 如何学习操作系统? ■ 操作系统实例
C语言程序设计 主讲教师:陆幼利.
简单介绍 用C++实现简单的模板数据结构 ArrayList(数组, 类似std::vector)
微机系统的组成.
第四章 团队音乐会序幕: 团队协作平台的快速创建
DQMClientDim.cxx及双光子练习
VisComposer 2019/4/17.
BESIII 计算环境&DST数据 报告人:文硕频 物理软件组 2019年4月23日.
Cassandra应用及高性能客户端 董亚军 来自Newegg-NESC.
计算机网络与网页制作 Chapter 07:Dreamweaver CS5入门
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
核探测与核电子学国家重点实验室 中国科学技术大学近代物理系 王照琪
数据集的抽取式摘要 程龚, 徐丹云.
LOGIX500软件入门 西安华光信息技术有限公司 2008年7月11日.
Chapter 18 使用GRASP的对象设计示例.
Visual Basic程序设计 第13章 访问数据库
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
华为—HUAWEI EC19 9 建议零售价格:299元 上市时间:2012年4月18日 目标人群:移动办公用户;其它有移动上网需求的用户
OpenStack vs CloudStack
GIS基本功能 数据存储 与管理 数据采集 数据处理 与编辑 空间查询 空间查询 GIS能做什么? 与分析 叠加分析 缓冲区分析 网络分析
Python 环境搭建 基于Anaconda和VSCode.
滤波减速器的体积优化 仵凡 Advanced Design Group.
基于列存储的RDF数据管理 朱敏
C++语言程序设计 C++语言程序设计 第一章 C++语言概述 第十一组 C++语言程序设计.
Event Start Time Determination
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
入侵检测技术 大连理工大学软件学院 毕玲.
百万行、千万行数据查询教程 老黄牛.
Presentation transcript:

BESIII离线数据处理软件系统 邓子艳 中科院高能所 2011年7月 四川成都

北京正负电子对撞机 储存环 BESIII 直线加速器 同步辐射 邓子艳 2011年7月 四川成都

北京谱仪(BESIII)

离线数据处理流程 离线数据处理软件将探测器记录的原始数据,经过刻度,转化为粒子的动量、能量和运动方向等物理量,生成重建数据。 物理研究还需要产生和真实数据数量相当的模拟原始数据,这部分数据也要进行重建 物理分析人员利用物理分析工具例如运动学拟合、粒子衰变顶点寻找和粒子鉴别等软件,分析这些重建数据,得到物理研究结果。

BESIII离线软件系统 BESIII Offline Software System (BOSS), 采用GAUDI 作为基础,按照BES III 实验的具体需求,以C++语言为主开发的全新离线数据处理软件平台。 模拟、刻度、重建、分析算法是离线数据处理和物理分析的核心,软件平台为这些算法提供事例数据以及各种常数服务。 物理分析 物理常数 服务 刻度常数 探测器 物质/几何 模拟 刻度/重建 BESIII 离线 数据库 事例 数据 管理 原始数据 转化 重建数据 DST数据

为什么采用GAUDI框架 GAUDI是欧洲核子中心LHCb实验开发的通用高能物理实验底层软件 可以为我们节省大量的代码,代码结构会更加清晰 能够保持整体架构的稳定性和一致性 面向组件: 减轻耦合度太高导致的复杂度 框架管理组件 用户只需要了解接口,而不需要了解实现细节

Gaudi组织结构 Converter Application Manager Data Message Algorithm Event Data Service Persistency Data Files Transient Event Store Detec. Data Transient Detector Store Message JobOptions Particle Prop. Other Services Histogram Transient Histogram Store Application Manager

GAUDI数据流 Algorithm A Algorithm B A Algorithm C B C 每个算法只关心输入和输出的数据 瞬态数据的有效管理可以规范和简化内存中的数据流动,大大减少功能模块之间,数据和功能模块之间的耦合 Real data flow Apparent data flow Transient Event Data Store Data T1 Algorithm A Data T2, T3 T2 T3 Data T2 Algorithm B Data T4 Control flow A Data T3, T4 Algorithm C T4 Parent B Data T5 C T5

事例处理过程 系统初始化 首先框架的主程序创建应用管理器对象, 应用管理器创建服务模块对象,服务对象的初始化 创建用户模块对象,用户模块对象的初始化 事例集的选择,为下面的事例循环做基础 事例循环 循环次数就是需要处理的事例集的大小。 该循环过程可以分成事例读取,事例处理,事例存储这三个阶段。 作业结束 当所有的事例都已经处理完毕,应用管理器通知各用户模块将统计数据保存到文件。 应用管理器关闭所有的服务,删除各种对象,释放资源,作业结束。

BOSS 使用的外部软件包 Gaudi LessTif AIDA MYSQL Anaphe PGSQL Boost ROOT CERNLIB CLHEP FOX GENBES Geant4 LessTif MYSQL PGSQL ROOT XercesC Xt

软件配置管理 基于软件包的管理 软件包是由一组相关功能的软件代码构成的,从功能逻辑上结合在一起的物理单元,它是软件发布的最小单元 BOSS包括超过300个软件包 好处 可以在物理和逻辑上清楚地将任务划分给各个开发者; 使得软件系统的发布具有可控性; 可以有利于确定系统模块之间合理的依赖关系; 还可以使整个系统逻辑结构和物理结构更为清晰,帮助开发者快速了解系统; 有利于代码的重用和系统的扩展。

基于CMT的软件包组织结构 Release area User area External area MDCGeomSvc MDCGeomSvc-01-00-01 BesRelease BesRelease-00-00-01 MDCGeomSvc-00-00-01 BesGeoMdc BesGeoMdc-00-* External/CLHEP CLHEP-00-01-* BesPolicy BesPolicy-01-* CLHEP External area 可以有效地管理整个软件系统中的各个软件包之间的依赖关系 大大简化程序员的编译和配置工作,使代码的移植性和兼容性增强 CMT和CVS结合使得软件代码管理,软件产生以及软件发布过程得以统一

其它工具 :ViewCVS

模拟软件 BESIII探测器模拟软件基于国际通用的模拟工具Geant4开发 主要包括探测器几何描述、击中信息和数字化过程。

重建软件

离线刻度 离线刻度包括了各个子探测器的刻度算法以及用于管理和维护刻度数据的离线刻度框架 对于不同的实验条件和不同的探测器状态,刻度算法为每个子探测器产生不同的刻度常数文件 离线刻度框架软件 管理和维护这些刻度常数 同时给离线软件模块读取刻度常数提供统一接口 采用非商业数据库MySQL和Gaudi的数据管理模式 实现了各探测器离线刻度常数的有效管理以及刻度常数的产生、存储和读取的流程控制

刻度常数管理

数据库访问 BOSS软件系统内统一的数据库接口:DatabaseSvc 用户可选择数据库访问方式 每个作业一个连接,或者每次query一个连接 支持Sqlite或者Mysql方式 Sqlite文件可定期自动更新 统一的数据库访问配置文件 User Passwd Host DbType SqliteDbPath ReuseConnection

谢谢大家! 总结和展望 从2004年至今,BOSS软件已推出若干个正式版本 首个用于发表物理文章的版本为6.5.1.p02 最新推出的基于SL5 x86_64位系统的版本为6.6.0 自BESIII探测器正式开始取数,BESIII离线软件系统稳定可靠,数据处理和分析都能及时完成,并已基于这些数据发表了一批物理文章。 随着BESIII探测器数据量越来越大,如何更快更好的处理数据将成为焦点工作,例如将BOSS软件应用于网格计算。 谢谢大家!