JUNO数据模型设计和相关软件开发 李腾 黄性涛 山东大学 2015.8 合肥 2018/12/2.

Presentation on theme: "JUNO数据模型设计和相关软件开发 李腾 黄性涛 山东大学 2015.8 合肥 2018/12/2."— Presentation transcript:

1 JUNO数据模型设计和相关软件开发 李腾 黄性涛 山东大学 合肥 2018/12/2

2 目录 JUNO离线软件简介 数据模型设计 总结 基于ROOT的数据模型设计方案 智能指针SmartRef 事例导航器EvtNavigator
延时加载特性 工具软件XmlObjDesc 总结 2018/12/2

3 JUNO离线软件简介 JUNO离线软件由以下部分构成： 外部库软件：广泛应用于高能物理实验的工具和库 JUNO相关软件包：模拟、重建等
SNiPER：用于非对撞高能物理的新底层框架 2018/12/2

4 数据模型 什么是事例数据模型？ 数据模型指在粒子物理实验离线数据处理过程中，事例在不同处理阶段所需处理或生 成的相关信息的组织方式
定义数据在内存/文件中存在的格式 以C++对象形式存在 Data Store 输入/输出 数据模型(Transient) 文件 GenEvent SimEvent RecEvent PhyEvent 获取/修改/存放 用户算法 Recon- struction Generator Simulation Analysis 2018/12/2

5 基于ROOT的数据模型设计方案 JUNO数据模型基于ROOT开发 在高能物理实验中，ROOT功能强大，应用广泛
输入/输出(ROOT I/O) 运行时类型信息(RTTI) 画图(Draw) 容器支持(ROOT Collections) …… 其它优势： 数据模型类的Streamer功能可以简化框架的输入输出服务 支持数据模型类的版本进化 内存和文件中可以用同一套数据模型，不需要转换 2018/12/2

6 数据模型设计方案 数据模型设计方案： 所有数据模型类间接或直接由 TObject派生 每个过程定义自己的Header和 Event类型
EvtNavigator关联各个Header 2018/12/2

7 Header和Event分层的设计 每个过程的数据模型由两部分组成: 将能够反映事例的关键信息(Tag)保存到 Header中
HeaderObject EventObject 分别保存事例的元信息和完整的数据. 将能够反映事例的关键信息(Tag)保存到 Header中 提升事例筛选的速度：仅将Header读入内存并判断 是否读入Event Header和Event之间的关联由智能指针 SmartRef实现 2018/12/2

8 智能指针SmartRef: 动机 设计SmartRef的动机： 实现数据模型对象之间的关联 希望可以实现关联对象的延时加载功能
普通的C++指针或智能指针只能实现内存中的对象关联，无法实现文件中复杂的关联： 希望可以实现关联对象的延时加载功能 实现上述Header及Event分离的设计并实现快速筛选 简化输入服务 文件 文件 Obj A Obj B Obj A Obj B 文件1 文件2 Obj A Obj B Obj C Obj C Case A: 多个对象关联一个对象 Case B: 互相/循环关联 Case C: 关联对象存入不同文件 2018/12/2

9 智能指针SmartRef: 设计方案 设计方案：
ROOT为对象关联提供了一个解决方案TRef，但有一些缺陷和限制：延时加载速度慢、 占用空间大等 SmartRef基于ROOT中TRef的功能并重新设计 保留TRef关联对象的功能，重新设计并实现延时加载、引用计数等功能 SmartRef结构： SmartRef由TObject派生 可关联EventObject类型的对象 关键变量：fUniqueID(整型)，fPID(TProcessID) 2018/12/2

10 智能指针SmartRef: 工作原理 SmartRef关联对象的原理：
SmartRef利用全局统一标示符(Universally Unique IDentifier, UUID)实现对象在内存和文件 中的关联 在一个ROOT相关进程里，ROOT会创建TProcessID对象，其内部存有一个UUID TProcessID被创建的同时，一个全局指针数组和一个全局整形变量会被同时创建 TProcessID (UUID) ObjNum 全局指针数组 …… 2018/12/2

11 智能指针SmartRef: 工作原理(续)
SmartRef利用全局统一标示符(Universally Unique IDentifier, UUID)实现对象在内存和文件 中的关联 当一个SmartRef和一个EventObject建立关系时，SmartRef中的fPID就会指向当前的TProcessID 同时全局整型变量会自加1，并分别赋值给SmartRef和EventObject的fUniqueID 同时一个指向这个EventObject的指针会被置入这个全局数组的相应位置 TProcessID (UUID) ObjNum ++ 全局指针数组 …… SmartRef fPID fUniqueID EventObject fUniqueID 2018/12/2

12 智能指针SmartRef: 工作原理(续)
SmartRef和EventObject的关系就此建立 当用户通过SmartRef访问EventObject的时候，会通过SmartRef中的fPID和fUniqueID这两个量在指 针数组中找到相应的位置，并获得EventObject I/O过程： SmartRef和EventObject被写入文件时，TProcessID会同 时被存入 保存有SmartRef和EventObject的文件被打开时， TProcessID会被读入内存，并重新创建指针数组 EventObject读入内存后会被自动置入指针数组 SmartRef和EventObject的关系重新被建立 2018/12/2

13 基于SmartRef的应用: EvtNavigator
EvtNavigator将同一事例在不同处理阶段的数据模型利用SmartRef关联起来 用户可以用路径访问EvtNavigator，并获取事例在任意处理阶段的信息 EvtNavigator将单独保存到数据文件一个TTree中，并作为数据输入输出和访问的主线 EvtNavigator Get from data store Access with data path GenHeader SimHeader CalibHeader RecHeader PhyHeader 2018/12/2

14 基于SmartRef的延时加载: 动机 由于JUNO高精度的要求，单个事例包含的信息可能十分庞大
一次性读入整个事例会带来较大的磁盘传输压力 延时加载指输入服务不主动输入被SmartRef关联的对象，而会延时到用户主动访 问其时才会自动加载的功能 配合数据模型Header和Event分层的设计，可令用户在不加载全部事例信息的情况下完成事例筛 选 配合事例导航器EvtNavigator的设计，在面临有相关联的多输入流的情况时，也可以极大得简化 输入服务和内存管理系统的设计难度 配合SmartRef，ROOT和输入服务实现延时加载机制 2018/12/2

15 输入服务概览 JUNO ROOT输入服务的简要构造： RootInputSvc：输入服务的用户接口，管理RootInputStream
InputElementKeeper：负责提供延时加载机制 2018/12/2

16 延时加载工作原理 延时加载工作原理： SmartRef关联的对象被写入TTree时，它们的UniqueID会被同时记录到表中并被写入文件
对应的TProcessID中的UUID会被写入文件元信息 输入服务初始化时，InputElementKeeper模块会读入输入文件的元信息，并建立一个UUID与文 件的映射表 ROOT文件 InputElementKeeper Map: UUID --- 文件 TTree UniqueID 表 TTree UniqueID 表 TTree UniqueID 表 File Meta Data （UUIDs） 2018/12/2

17 延时加载工作原理(续) 延时加载工作原理： 用户访问SmartRef时，SmartRef首先在内存中查询，如果未找到则启动延时加载机制
SmartRef访问InputElementKeeper，根据UUID查找关联对象所在的文件 InputElementKeeper打开文件，加载Unique ID表，查询关联对象所在文件中的位置 读入关联对象，完成加载 ROOT 输入服务 访问 查询对象 对象未加载 访问输入文件 SmartRef InputElementKeeper 输入文件 加载ID表格 成功加载 2018/12/2

18 XmlObjDesc: 使用Xml定义数据模型
不同的数据模型类由不同的用户定义 代码的统一是比较重要的 需要大量手动的重复性工作(getter, setter) 数据模型类的实现遵循一定规则，无需用户关心和实现 我们开发了XmlObjDesc(XOD), 帮助用户使用XML定义数据模型 数据模型开发者可以只关心数据模型的内容并书写XML文件，无需关心代码实现 XOD解析XML文件，并依据我们制定的规则产生C++代码 2018/12/2

19 Document Type Definition
XmlObjDesc: 结构 XOD由python实现，按功能可分为XML解析器和代码产生器： *.h (C++ header) generate Code Generator Template header.tpl … genClasses.py genLinkDef.py *.cc (C++ source) model genSrc.py genPackage.py …… *LinkDef.h Document Type Definition xdd.dtd, xld.dtd… Xml Parser Xml files validation parse 2018/12/2

20 总结 总结 简要介绍了基于ROOT的JUNO数据模型设计 详细介绍了SmartRef智能指针及其延时加载的特性
介绍了工具XmlObjDesc 2018/12/2