刘振安 中国科学院“核探测技术与核电子学”重点实验室 中国科学院高能物理研究所触发实验室 核电子学与探测技术学术年会 2010年8月14日 下一代核仪器及设备标准XTCA 进展 刘振安 中国科学院“核探测技术与核电子学”重点实验室 中国科学院高能物理研究所触发实验室 核电子学与探测技术学术年会 2010年8月14日

报告概述 标准化在核与高能物理实验中的重要性 核仪器标准的简史 核仪器研制的现状及研究 xTCA for Physics组织架构 新标准协调委员会CCTS 及工作组 新标准制定现状与未来 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

仪器标准化在核与高能物理实验中的重要性 肉眼观察研究： 宏观研究： 微观研究： 物理学研究的两个前沿 光源/光线/物体/眼睛 宇宙线/探测器 宇宙线/放射源 加速器/高能粒子/靶体/探测器 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

实验装置的运行需要复杂的控制 以北京正负电子对撞机和北京谱仪为例 同步辐射 束测线 直线加速器 电子 储存环 北京谱仪 1984.10-1989。7 标准化的加速器控制设备 标准的控制机箱 标准的控制插件 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

实验装置的运行需要复杂的信号处理与控制 触发判选 DAQ／在线处理 模／数转换 探测装置 前端电子学 数据存储 离线分析 慢控制 物理过程 触发判选 粒子 微弱电信号 DAQ／在线处理 模／数转换 探测装置 前端电子学 放大、成形 慢控制 数据存储 离线分析 标准化的谱仪控制与数据获取设备 标准的机箱 标准的插件 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

核仪器标准的简史 英国卢瑟福实验室于1960年代开创核电子学的标准 欧洲核子研究中心CERN和美国实验室同期开展 美国国家标准局和核仪器插件委员会建立了NIM标准 70-80年代建立了另2个标准CAMAC，FASTBUS，并被研究领域得到广泛应用 核谱测量、粒子物理、医学物理、加速器仪器、加速器控制、航空航天、工业控制等 目前这些标准仍在使用，但显局限性 90年代借用工业标准VME（VXI等） 2000年后CPCI 现在及将来？？ [1] NIM(~’60’s), CAMAC(~’70’s), FASTBUS (~80’s) – CAMAC processed as IEEE , ANSI and IEC standards 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

核仪器研制的现状及研究 标准与技术的演变 标准是有寿命的，但其演化要缓慢温和 需要新的标准 物理实验中的标准已经有些过时，但很多系统却仍然在使用 微电子工业的巨大进展需要新的平台来展现他的优点,目前的平台已不适应: 高速处理芯片4Gsps 集成电路的功能已经把原来插件完成的功能在一片可变成逻辑器件FPGA中实现 片上处理器提供了可变成控制和并行数据处理能力 通用硬件设计配以不同的固件得以实现多种功能设计 片上串并/并串转换能力3-10Gbps 需要新的标准 BESIII通用插件 专用总线 205Gb/秒同步传（BESIII） 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

电信最新标准简介 电信领域大多数基于CPCI、VME总线的处理器系统，总线带宽已经成为制约系统处理能力的瓶颈。 VME64X的总线带宽为320Mb/s，已经不能满足要求高吞吐量、低延迟的系统。随着对更高系统带宽、总线速度、实时性、系统可靠性、温度范围、散热及更小空间等方面越来越高的要求，迫切需要一种新的运算架构来满足信号处理的需求。 PICMG协会成立了一个ATCA委员会，该委员会由代表了工业和电信设备制造商及终端用户的105个公司组成，其目标是建立、修改并计划在2002年底发布新的规范——ATCA。经过12个 月的奋战，PICMG3.0规范——先进的通讯计算机构架（ATCA）如期发布。 后来，低成本、小尺寸的应用，PICMG协会又在ATCA构架的基础上提出了MicroTCA构架，该技术在2006年逐渐成熟，吸引着越来越多人的目光。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

ATCA的系统构成 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

ATCA的系统构成 Blades Switch Blade IPMI Management & Power Control Blade 1个典型的ATCA系统包括： 12块刀片模块（Blades）、2个交换刀片（Switch Blades）、2个控制刀片（Control Blades）、互连背板（Back Plane）以及电源（Power）、散热等模块。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

Blades（刀片模块） Blades是MicroTCA系统的基本组成部分，通过对这些模块的使用能很容易地实现系统扩展、模块化设计，从而方便地实现各种系统功能。 典型的Blades有Computing Blades（计算模块）、Network Processor Blades（网络通信模块）、Storage Blades（存储模块）。例如下图是一个Storage Blade。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

ATCA背板（Back plane） ATCA背板的概念是 ATCA规范的基础，它是所有ATCA机箱的构成要素。包括电源输送、模块互连以及IPMI模块等等。ATCA背板能够互连多达12个Blade模块，和2个Switch模块（互为冗余）。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

散热系统 ATCA模块的功率大，其机箱设计具有优良的散热性能，它的散热由位于机箱上方的两片Control Blade控制，如左图所示。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

高速通信 ATCA设计的重要优势之一就是它出色的通信速率，可以达到数GB量级。 数据在此交换 Switch Blade插槽 ATCA设计的重要优势之一就是它出色的通信速率，可以达到数GB量级。 PICMG 3.1-3.5标准中定义了5种通信方式：千兆以太网和光纤传输 ；InfiniBand，StarFabric，PCI-E，RapidIO。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

发展迅速 2002年，发布基本规范； 2003年，发布背板连接技术(光纤交换)的扩展； 2006年，面市。 5年或者更多时间。 ATCA的发展历程，3年发布 2002年，发布基本规范； 2003年，发布背板连接技术(光纤交换)的扩展； 2006年，面市。 相同发展道路，对比VME和CompactPCI VME 走了大约10年； CompactPCI 5年或者更多时间。 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

核仪器新标准是什么 高能物理实验再次借鉴 工业标准（电信）？ 这是一个很好的思路！ ATCA MicroTCA (MTCA) 优点 高速IO及互连10Gb/s 高可用性HA ~99.999% 智能管理 MicroTCA (MTCA) ATCA的优点 半高度 AdvancedMC（AMC） 小插板 高能物理实验再次借鉴 工业标准（电信）？ 这是一个很好的思路！ 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

高能所：高性能节点计算机的设计 High Performance Compute Power: 5x (Virtex-4 FPGA + 2Gb DDR2) ~32Gbps Bandwidth 13x RocketIO to backplane 5x Gigabit Ethernet 8x Optical Link 2 Embedded PowerPC in each FPGA Real time Linux ATCA compliant 完成第二板 高能所设计的基于ATCA和FPGA的高性能处理板 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

国际上其它实验室的相关研究 德国DESY在 XFEL 1 km 电子直线加速器领先设计 (~1/20th an ILC) – LLRF, 连锁保护，束线仪器 – ATCA + MicroTCA • SLAC 开始用MTCA对3km电子直线加速器进行更新 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

欧洲核聚变项目 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

国际直线对撞机 下一代加速-国际直线对撞机(ILC)要求 高数据产生率（>500Gbps） 解决办法ATCA/MTCA？ 高可用率（high availability) 高数据产生率（>500Gbps） 解决办法ATCA/MTCA？ HA ~99.999% 波特率 10Gbps 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

谁在用（想用）ATCA？ IHEP 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

如何衡量一个系统的优劣？ 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

Why xTCA ATCA 缺点： MTCA缺点： AMC缺点： 制定新标准：xTCA for Physics 高8U，不适合控制用 没有后插板 没有定义子板及信号 没有定义后插板（HA） 没有控制信号… MTCA缺点： AMC缺点： 互联？ 控制信号 信号管脚定义 … 高能所计算节点板 制定新标准：xTCA for Physics 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

xTCA for Physics 大事 2007年5月 在FNAL第一次ATCA workshop 2007年5月 IEEE RT07 ATCA 专题 2008年初讨论建立新标准的可行性 2008年10月在Dresden第二次ATCA workshop 2008年10月IEEE NSS ATCA 专题 2009年5月高能所第三次 xTCA workshop 2009年5月IEEE RT09 ATCA 专题 2010年5葡萄牙里斯本 第四次 xTCA workshop 2010年5月葡萄牙里斯本 IEEE RT1 xTCA 专题 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

xTCA for Physics 协议标准委员会 2009年3月10日在PICMG下成立 xTCA for Physics 协调委员会（CCTS） IHEP,SLAC,FNAL,DESY 发起单位 40多厂商参加 选举产生了事务人员 主席：SLAC Ray Larsen 会议秘书：三环公司　Augustus Lowell 文件编辑：高能所刘振安 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

CCTS的路线图 组织工作组每周开技术讨论电话会 xTCA for physics Extensions to specifications 协议文本的起草 Guidelines 设计指引 Open source solutions 开源软件的编制 Building on existing xTCA base under PICMG rules 依照PICMG规则构建xTCA骨架 Spec approval by PICMG membership PICMG成员验收 Collaborating with industry for product development & support 工业界的密切合作 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

xTCA标准的工作组及任务 物理需求调研组： 硬件工作组 WG1： 软件工作组 WG2 ： Physics User Survey Task Group 硬件工作组 WG1： Physics xTCA I/O, Timing and Synchronization Working Group 软件工作组 WG2 ： Physics xTCA Software Architectures & Protocols Working Group 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

硬件组 WG1 的任务 硬件协议范围 ATCA Rear Transition Module Interface for IO ATCA Carrier Boards for AMC’s w/ Rear IO (2) AMC (Advanced Mezzanine Cards) w/Rear IO (2) MTCA (MicroTCA) Chassis w/ Rear IO (2) ATCA/MTCA Clock & Trigger Distribution (2) 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

1. ATCA 后插板 3区概念 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

2a. Carrier w/ Stacked AMC’s IO AMC IO board Standard AMC board Stacked connector Courtesy R. Downing, SLAC 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

2b. Carrier Concept for 1 or 2- Wide AMC Mechanical Key IO Zone 3 from/to RTM Standard Fabric to backplane Power Up to: 10 standard singles 4-double high w/IO 3 double wide w/IO 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

3a. Stacked 1-wide AMC w/ IO (From DESY LLRF Design) IO Stacked AMC Board(s) Stacked boards and connector IO confined to second board Superior analog grounding, shielding, crosstalk isolation µRTM Option IO Dwg. Courtesy R. Downing, SLAC 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

3b. 2-Wide AMC w/IO 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

4a. 1-Wide Stacked AMC in MTCA AMC Panels 2-high (vs. 1.5) w/ alternate slots dedicated to analog & IO Full size RTM option 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

4b. 2-Wide 12 Payload AMC MTCA Rear IO via µRTM’s Interlock Output Module Clock & Timing Module Optional Power Unit 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

5a. ATCA中的时钟与触发 背板时钟与触发信号的分配－总线方式与星型连接方式 星型缓存器扇出，提供亚皮秒的稳定性，减小热插拔对定时的影响 提供更强的网状连接的可能性 低精度时钟与触发信号需求时提供总线方式，标准的双星型连接区 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

5b. MTCA中的时钟与触发 与ATCA类似的理念，但较少的可选项 建议利用现存的双星型连接线，避免复杂性 一般稳定性要求与ATCA一致 MCH 管理插件 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

软件工作组 WG2 任务 主要目标 跨实验室调研物理实验中高互用、高可用、性能高的软件系统 调研可用于高可勇物理实验系统的现存ATCA开源软件开发　 为快同步系统中实时低时滞协议开发通用指引 为减小开发时间，提高互用性，开发并提供模拟－数字应用中的通用API 接口 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

软件工作组 WG2 任务２ 互用性 可用性 性能 Develop Generic API’s and Protocols for: Management of real-time DAQ & machine control components High rate & low latency transactions Management of resources within xTCA network 可用性 Define mechanisms for management of redundancy, hot swap and auto-failover Develop IPMI architecture to include LAN access for managing distributed FPGA controls environment 性能 Standardize environment, use available standards to save development time Efficient communications from high speed point-to-point to full network levels 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

现状小结 最优先的项目 进展正常 硬件目标 软件 ATCA RTM 2-wide AMC, MTCA Chassis w/ µRTM AMC Single wide 2-stack AMC’s on ATCA Carrier MTCA 1-wide stacked AMC w/ µRTM 进展正常 硬件目标 协议规范文本, 原形提交 2010　2/3 季度 协议规范文本, 原形通过 2010　3/4 季度 软件 开发了支持环境与演示程序 建立长期目标与路线图 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

第二步任务 设计后插板原形样机: 验证协议文本的有效性 检验演示xTCA系统中的原形样机满足使用系统地要求 演示可用性、互用性等特性记忆智能管理插件的性能，使厂家和用户双方受益 2010年底 提出标准草案 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

中国同行的合作、贡献 第一个中国同行参与制订的核仪器标准 xTCA for Physics 不是仅限于核物理/高能物理，也可应用于工业控制，China-PICMG很感兴趣 欢迎中国同行积极参加xTCA协议项目 制定 研究 项目应用 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

感谢大家的耐心 参考资料 http://www.picmg.org/pdf/PICMG_Physics_Public_Web_Update_061209_R5-3.pdf 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

后备片 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

Possible Scenarios MTCA with Rear IO Labs place early orders for common spec items to industries via RFP’s (Request for Proposal) if item does not already exist, or RFQ (Request for Quotation) if similar item already is manufactured. Need to develop at least 2-3 industry sources of each basic infrastructure item Shelf with backplane, 2-wide with μRTM Shelf with power and cooling Shelf with MCH, IPMI, power & cooling 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

Joint Orders Founding Labs collaborate on multiple prototype orders to raise numbers ordered, offset NRE costs (SLAC, DESY, FNAL, IHEP, IPFN) FL’s offer prototype order opportunities to new labs not already members BNL, LBNL, LLNL,LASL, Argonne, JLAB, SNS, CERN, Saclay, Rutherford, KEK, + too many light sources to count 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

Applications Modules No joint order approach to prototypes is possible on the module & xRTM side until we develop common specifications for generic modules, e.g. Multichannel 16-bit slow and fast ADC-DACs with FPGA processor on board Generic xRTM’s with signal conditioning suitable for combination of RF, BPM and slow interlock channels Generic clock and trigger solution modules for both ATCA, MTCA Generic 1-wide stack AMC Carrier with ATCA RTM Rear IO 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

Systems Demonstrations Assuming successful collaboration on a number of key prototypes, lab-industry should jointly develop systems demos showing interoperability of modules from different vendors Show at workshops, conferences, exhibits Main development issue: Interoperable software interfaces to generic modules designed to common API, HPMI, IPMI specs 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

ATCA协议综述 ATCA包含一系列规范。 核心规范（PICMG 3.0）定义了ATCA系统的机构、电源、散热、互联、系统管理等内容。 辅助规范则定义了在核心规范中互联的传输方式。 PICMG 3.0 核心规范 PICMG 3.1 千兆以太网和光纤传输 PICMG 3.2 InfiniBand传输 PICMG 3.3 StarFabric传输 PICMG 3.4 PCI-E传输 PIC3.5 RapidIO传输 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

实验室在国际新标准xTCA for Physics项目中发挥作用 2009年3月10日在PICMG下成立 xTCA for Physics 协调委员会（CCTS） IHEP, SLAC,FNAL,Juelich 发起单位 40多厂商参加 推举产生了事务人员 主席：SLAC Ray Larsen 会议秘书：三环公司　Augustus Lowell 文件编辑：高能所刘振安 目前重点实验室成立了项目小组参加 每周技术讨论 硬件技术验证 参加2007年5月 在FNAL第一次ATCA workshop 2007年5月 IEEE RT07 ATCA 专题 2008年初讨论建立新标准的可行性 参与组织2008年10月在Dresden第二次ATCA workshop 2008年10月IEEE NSS ATCA 专题 主办2009年5月在高能所的第三次 xTCA workshop 组织2009年5月IEEE RT2009 NSS ATCA 专题 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安

软件组 WG2 进展 入门联系软件 物理实验的通用 API’s 总结现有样机系统的经验 Series of tutorials from industry and lab experts ongoing IPMI, HPM1.1, LAN-based IPMI, SRIO & PCIe vs. GbE protocols, OpenSAF etc. 物理实验的通用 API’s Framework proposed for Embedded Machine Control Protocol for physics Includes integration of features found in various standards optimized for physics (e.g. VXI, SCPI, IVI…) Includes virtual ADC example of hardware independent specification 总结现有样机系统的经验 Study of ongoing systems initiatives at DESY, SLAC, IPFN (JET & ITER) to help frame requirements, provide test beds STATUS: Studies continuing on protocols, architecture, existing tools 2010年8月14日 下一代核仪器及设备标准XTCA 刘振安