基于精简White Rabbit原理的LHAASO WCDA时钟系统原型设计 商林峰 核探测与核电子学国家重点实验室 中国科学技术大学近代物理系 2012.3.8

主要内容 LHAASO WCDA简介 LHAASO WCDA电子学系统结构 White Rabbit原理简介 时钟原型系统设计 测试 小结与下一步工作安排 2019/1/12 核探测与核电子学国家重点实验室

LHAASO 简介 大型高海拔空气簇射观测站 KM2A (1km2 array ): Large High Altitude Air Shower Observatory 大型高海拔空气簇射观测站 KM2A (1km2 array ): -- ED(electron detectors,电子探测器) -- MD(muon detectors, 缪子探测器) SCDA (shower core detector array) 簇射中芯探测器阵列 WFCA (wide field Cherenkov array) 广角契伦科夫望远镜阵列WCDA (water Cherenkov detector array) 水契伦科夫探测器阵列 LHAASO ：大型高海拔空气簇射观测站，位于海拔4300 米的西藏羊八井。由以下几个探测器阵列组成，如右图所示，其中我们实验室负责其中的WCDA电子学的设计与研制。 2019/1/12 核探测与核电子学国家重点实验室

LHAASO WCDA简介 设计需求 设计指标 时间测量Bin Size 1ns 时间测量RMS <0.5ns 时间测量动态范围 电子学系统指标需求 9万平方米，2×2阵列的4个子探测器 • 150米×150米×4.5米 • 5米×5米格子 • 3600路PMT(Photo Multiplier Tube) 设计需求 设计指标 时间测量Bin Size 1ns 时间测量RMS <0.5ns 时间测量动态范围 2us 两次击中最小时间间隔 25ns 通道数 3600(分布于90000m2) WCDA总面积达到9 万平方米，分为组成2×2 阵列的4个子探测器。每个子探测器为150 米×150 米的水池，水池深约4.5 米，由于除去光电 倍增管本身的长度34 厘米，水池的有效探测深度为4 米，整个探测器阵列包括3600 个光电倍增管。 WCDA电子学系统设计指标 2019/1/12 核探测与核电子学国家重点实验室 4

WCDA读出电子学结构布局 传统方式：后端数字化 数字化集中后端 长距离模拟信号传输衰减 LHAASO特点： 探测器信号通过电缆传输到机房 需前放，提高信噪比 限制：模拟信号传输距离不能很长 长距离模拟信号传输衰减 幅度衰减，前沿变缓 高带宽电缆：成本高 数字化精度降低 LHAASO特点： 长距离（>100米） 大动态范围 高时间精度 长基线中微子实验100米高宽带电缆RG58传输PMT模拟信号衰减影响 2019/1/12 核探测与核电子学国家重点实验室

WCDA读出电子学结构布局 WCDA采用方式：前端数字化 优点： 难点： 保证各前端电子学通道时钟的同步和高精度 数字化分布前端 数字结果通过电缆/光纤汇总到机房 不需要前放 优点： 摆脱对模拟信号传输的苛刻要求，这种方案从前端到后方传输的是数字信号 难点： 保证各前端电子学通道时钟的同步和高精度 两个最重要的目标： 1.各通道时钟的同步： 2.每个通道的时钟抖动小于100ps 2019/1/12 核探测与核电子学国家重点实验室

时钟同步设计指标 1.对单个时钟通道：时钟抖动100ps 2.对多个时钟通道：时钟偏差100ps 对这样一个时钟扇出传输系统的时钟质量有两个要求： 1.时钟抖动：当实际信号的边沿与理想时序边沿的偏离不断发生变化时，而且这种变化是随机的。 原因：由于（如噪声、串扰、电源电压变化等） 消除或者降低时钟抖动：降低噪声串扰等，pll 2.时钟偏差：时序信号的理想“沿变”和实际上的“沿变”之差。 如图所示四个通道， 第一种情况通道间的时钟偏差不为0，没有同步， 第二种情况，通道间的时钟偏差为0，实现了同步。这就是的目标 2019/1/12 核探测与核电子学国家重点实验室

常用时钟协议的时间精度 Protocol Accuracy NTP ~μs GPS ~ns SONET/SDH/SyncE <ns 现有的主要时间频率同步技术： （1）基于广播技术的卫星导航技术 GPS，伽利略，GLONASS （2）基于物理层的传输 同步光纤系统/同步数字系统 （SONET/SDH）， 同步以太网（SyncE） （3）基于数据链路层和网络层的分配系统 网络时间协议（NTP）， 基于IEEE-1588 的高精度时间协议（PTP） Protocol Accuracy NTP ~μs GPS ~ns SONET/SDH/SyncE <ns PTP PTP 协议具有实现简单，占用的网络和计算资源少等优点，广泛应用于分布式电子学系统架构中。 小白兔方案基于SyncE和PTP协议，自动补偿传输延迟以及温漂 2019/1/12 核探测与核电子学国家重点实验室

参考原理： White Rabbit White Rabbit project 参考 White Rabbit Specification： SyncE + PTPv2 Physical layer sync (clock recovery) Sub-ns accuracy up to 1000 nodes 10km fiber transmission 参考 White Rabbit Specification： Draft for Comments 小白兔（White Rabbit，WR）方案是一种发展了同步以太网和IEEE-1588 协议的数据传输和时钟网络方案，由欧洲核子研究中心（CERN）在LHC（Large Hadron Collider）项目中研制的一种方案。小白兔方案可以达到亚纳秒量级的时钟精度，同时可以自动补偿长达10 公里的光纤通道的传输延迟。 2019/1/12 核探测与核电子学国家重点实验室

White Rabbit原理 DMTD:Dual Mixer Time Difference 主时钟和从时钟之间的相位关系粗校准采用PTPv2 协议进行校准，细校准采用双混频时差测量系统（Dual Mixer Time Difference，DMTD）进行校准 DMTD（Dual Mixer Time Difference）:双混频时差测量系统 DMTD:Dual Mixer Time Difference 2019/1/12 核探测与核电子学国家重点实验室

White Rabbit的精简 White Rabbit的精简 White Rabbit 采用普通串并转换芯片，协议简单 采用同步以太网，协议复杂 多级开关网络，引入透明时钟概念，操作复杂 DMTD输出采用counter计数 采用普通串并转换芯片，协议简单 星形网络，光纤传输采用点对点形式 DMTD输出采用FPGA-based TDC测量，精确度高 2019/1/12 核探测与核电子学国家重点实验室

LHAASO WCDA时钟原型系统示意图 根据精简的White Rabbit原理，我们设计了如图所示的时钟原型系统。系统主要由位于数据采集大厅里的时钟源板，时钟发送板和位于WCDA水池的时钟接收板组成。时钟源板和时钟发送板位于同一VME机箱里。时钟源板通过铷时钟驯化GPS信号得到与全球时钟同步的高精度时钟，通过差分电缆将此时钟扇出给时钟发送板作为系统时钟。时钟发送板经过几百米光纤将此时钟嵌入数据里传送给时钟接收板。时钟接收板经过相位校准模块将恢复时钟提供给FEE板使用。 2019/1/12 核探测与核电子学国家重点实验室

时钟源板设计 提供精确时钟给整个电子学系统 时钟必须与全球时间同步 2019/1/12 核探测与核电子学国家重点实验室

时钟发送与接收模块 接收模块使用SerDes恢复时钟作为本级的系统时钟 发送模块: 相位测量（DMTD， FPGA TDC） 系统时钟经过serdes，电光转换，几百米的光纤后到达时钟接收端，经过光电转换，serdes后得到恢复时钟RCLK，RCLK经过相位移动后，作为时钟接收端的系统时钟，扇出到全版。同时，RCLK反向传输回到时钟发送端bclk。Bclk和发送时钟送入相位测量器。RCLK相位移动受相位测量器测量器输出结果的控制。通过反复反馈调整，最终将Bclk与Tclk相位调整到预设值，当所有通道都完成这一过程，各个通道时钟就步调一致，没有时钟偏差。 接收模块使用SerDes恢复时钟作为本级的系统时钟 发送模块: 相位测量（DMTD， FPGA TDC） 接收模块：基于FPGA DCM的动态移相 2019/1/12 核探测与核电子学国家重点实验室

时钟发送板与时钟接收板设计 时钟发送板与时钟接收板结合起来设计 两者区别： 发送板SerDes发送时钟使用系统时钟 8个光传输通道 4个通道采用外接SerDes DS92LV16 4个通道采用FPGA内部GTX 经费考虑，目前LHAASO还没正式立项，前期预言工作都是靠的实验室基金支持 两种SerDes差别：嵌入时钟位SerDes 强制同步时在一帧串行数据流中有且只有一个上升沿 8B/10BSerDes 可能从10bit串行数据的任何bit位建立同步，有10种相位关系 2019/1/12 核探测与核电子学国家重点实验室

时钟源板及时钟发送模块时钟性能测试 测试方案： 1. 测试铷时钟源的输出信号质量 2. 测试时钟源板，时钟发送板的系统时钟性能 2019/1/12 核探测与核电子学国家重点实验室

测试实物照片图 铷时钟源 时钟源板 时钟发送板 时钟接收板 2019/1/12 核探测与核电子学国家重点实验室

铷时钟源输出时钟信号 周期：99.99945ns Jitter: 112.44ps 短期稳定性差，长期稳定性好，不易受温度等环境影响 2019/1/12 核探测与核电子学国家重点实验室

时钟源板，时钟发送板时钟性能测试 Channel1（黄）：时钟源板系统时钟 周期：24.99971ns jitter: 11.27ps 2019/1/12 核探测与核电子学国家重点实验室

时钟接收模块时钟性能测试 测试方案： 1. 两通道分别接100，200米光纤，测试时钟相位调节前后的接收模块恢复系统时钟FEE_CLK的相位差 2. 保持测试条件不变，多次测量，观测相位差的稳定性 3. 保持测试条件不变，观测FEE_CLK相位差随温度变化的影响 2019/1/12 核探测与核电子学国家重点实验室

时钟接收模块时钟性能测试 未调节时相位差 Channel2 （红）：时钟发送板系统时钟 Channel3 （蓝）：时钟接收模块1系统时钟FEE_CLK1 Channel4 （绿）：时钟接收模块2系统时钟FEE_CLK2 FEE_CLK1与FEE_CLK2相位差为8.334ns 2019/1/12 核探测与核电子学国家重点实验室

时钟接收模块时钟性能测试 调节后相位差 Channel2 （红）：时钟发送板系统时钟 Channel3 （蓝）：时钟接收模块1系统时钟FEE_CLK1 Channel4 （绿）：时钟接收模块2系统时钟FEE_CLK2 FEE_CLK1与FEE_CLK2相位差为244.53ps （未调节为8.334ns) 2019/1/12 核探测与核电子学国家重点实验室

时钟接收模块时钟相位差稳定性测试 测试方法： 重复加载发送接收板的逻辑，测试性能稳定性 测量次数 测量值（ps) 1 244.53 2 284.45 3 258.46 4 269.41 5 259.65 6 273.31 7 268.19 8 295.05 9 283.23 10 275.36 怎么说明200ps产生的原因，因为是固定的，所以可以标定消除。 平均值：271.16ps 最大相位漂移 50.52ps 2019/1/12 核探测与核电子学国家重点实验室

温度调节装置 100米光纤 200米光纤 2019/1/12 核探测与核电子学国家重点实验室

温度对测试的影响 测试方法：200米光纤放入高温试验箱，改变温度，100米光纤室内常温条件下 22.5 244.53 32.5 222.46 Temperature（℃） Clock Skew（ps) 22.5 244.53 32.5 222.46 35 224.09 40 222.09 45 204.62 50 258.94 55 239.62 60 251.83 光纤温度系数35ps/(km·℃)， 对于测试所用200米光纤最大温漂应在262.5ps 动态调节后相位漂移：54.32ps 2019/1/12 核探测与核电子学国家重点实验室

示波器测量得到的时钟偏差超过100ps的解释 将两个SMA TP测试点输入同一时钟信号通过示波器观察，发现测试结果存在237.86ps的相位差 考虑之前测试的200多ps的相位差是不是因为TP路径以及示波器通道连接同轴电缆的差异造成 2019/1/12 核探测与核电子学国家重点实验室

示波器测量得到的时钟偏差超过100ps的解释 Channel3 （蓝）：时钟接收模块1系统时钟FEE_CLK1经过DMTD放大后的波形 这幅图中对应未放大前的使用示波器直接测量FEE_CLK1和FEE_CLK2的时钟歪斜为268.19ps 已知DMTD放大系数为：279 由DMTD原理可以反推得到FEE_CLK1和FEE_CLK2之间的实际的clock skew为：9.975ns/279 = 35.75ps 测量值与实际值之间存在268.19ps-35.75ps = 232.44ps的误差

小结与下一步工作安排 小结： 基于精简的White Rabbit方案设计的时钟原型系统，很好的实现了LHAASO WCDA系统时钟需求，验证了原理的可行性 通过动态调整，实现了温漂自动补偿功能 下一步工作： 完善时钟原型系统设计 完成所有通道调试 继续完备时钟原型系统电子学系统性能测试 2019/1/12 核探测与核电子学国家重点实验室

谢谢！ 2019/1/12 核探测与核电子学国家重点实验室