HADOOP的高能物理分析平台 孙功星 高能物理研究所/计算中心 2013-07-05

HEP Experiment（International） CMS experiment as a example. Raw data sent to online farm.（1PB/s) Physics Data: 1.5MB @ 150Hz=225MB/s (->tape) Alignment and Calibration Data: 100MB/s LHC runs for 10 million of seconds/year. > 3PB/year. Life time 20 years: 60PB. Atlas is same as CMS. > 150PB for all 4 Experiments on LHC

高能物理实验（国内） 国内的BESIII实验为例。 北京正负对撞机从2009年运行，产生了大量数据。 产生的数据量约3PB。 物理分析的数据约1/10，即300TB，10亿个事例（event)。 特点：数据量大、物理事例无关，同时属于“大海捞针”。

IHEP Computing Environment Architecture ON-line farm Login Servers Disk Servers CNIC 10Gbps 10Gbps TPservers 10Gbps 10Gb Ethernet (computing. & Storage Network) IHEP Campus Network 10Gbps 10Gbps FC 1GE 1GE 1GE 1Gbps Home Dirs(AFS) +Monitoring +Scheduler Tape Lib. CPU servers

Computing & Storage Facilities at IHEP 2 Tape Libraries(5PB)柜 Computing Cluster(+10000cores) 180X10Gb ports core switch 造价不菲！ Disk storage(4PB) Central shift room

计算技术发展 主机时代：打孔—>操作系统。 专用连接时代：MPP。 以太网时代：Cluster计算/PC-FARM。 广域互联时代：网格计算。 强PC时代：强处理能力、大内存、大磁盘容量。如何利用？

PC时代：先进的数据处理框架 键-值对（Key，value）：扩展性好、并发性高、速度快。存储： PB->EB。 索引：分布式、稀疏的、高并发、列查询。 更多优势：便宜、高效。 1991年伯克利内存数据库：一个内存（key,value）应用。

计算模式改变 传统集群：数据—>计算； Hadoop集群：计算—>数据。 后果： - 充分利用本地资源； - 减少了I/O的压力； - 减少系统造价； - 提高性能。

搜索引擎：Google GFS（Google File System）。 BigTable：打破了传统数据库 的局限，使非SQL数据库成研 究热点 MAP/Reduce并行处理框架。 PageRank：对网页重要性评 估的算法。 极强创新群体，工程师大都是 自然科学博士。微软大都是本 科生。 2003年开始发表论文，介绍研 究及应用成果。 Sergey Brin(1973), 身价198亿美元。斯坦福大学博士 Larry Page(1973), 身价198亿美元。密执安州立大学博士

开源项目：Hadoop 组件：HDFS、HBASE、Mapreduce ….。（2005年） Examples Yahoo： >40,000 nodes，100,000 cores The largest cluster has 4500 nodes Facebook：two hadoop clusters 1100 nodes, 8800 cores, ~12PB disk space 300 nodes, 2400 cores, ~3PB disk space Each node has 8 cores, 12TB disk space Baidu (year 2011)： >10,000 nodes Customized nodes based on Intel framework, each node cost 3K-5K USD, with 12*1TB disks, 32GB memory

高能物理与Hadoop Bioinformatics, weather prediction, astronomical image processing, … High Energy Physics 7 CMS sites in the US Use HDFS as storage system Ref.：HEPiX Fall 2011 INFN Perugia： HDFS as Storage Element MapReduce for Root file analysis Ref.：CHEP2012 STAR project at Brookhaven Lab Build a MapReduce workflow for analysis of particle data Running Hadoop in Virtual Machine Thanks to Charles Earl(charlescearl@me.com) for sharing the information

BESIII computing framework based on Hadoop

解决的关键问题 随机写支持；（事例以树结构，快速遍历） 物理分析的类库；（与互联网搜索引擎不一样） 物理分析分为两步：预筛选与分析； 与现有系统的集成。

主要目标 建立高能物理分析的Hadoop平台。 建立物理事例Tag的Hbase索引数据库。 改变高能物理分析方式，提高效率，节省在计算上的造价。 下面几张幻灯片就是一些测试结果。

Hadoop集群的并行加速效果

Single node testing：Lustre VS Fuse+HDFS min Time used

Single node testing：Lustre VS Fuse+HDFS min user, wait & sys time used Lustre I/O wait time(~100 minutes) is about twice of HDFS

物理数据分析MapReduce模型 TAG信息生成 基于TAG信息的事例预筛选模型 基于TAG信息的事例统计 事例分析

重组事例及仿真结果

Tag标识及无标识比较 对2,727,074个事例进行了Rhopi分析。 预筛选系统使得事例分析时间减少到原来的16.9%：加速5.9倍。 对文件进行重构之后，时间进一步缩短到只有原来的2.3%：43倍多。

结论 通过研究BESIII的物理分析，了解分析的特点。 进行的仿真计算，若系统设计恰当，可以大幅度提高性能。 将进一步研究和开发，扩大系统测试规模，进一步取得新的结论。

SDN@IHEP 一个计划投入使用的进行高能物理大批量数据传输 的基于IPv6广域网链路的虚拟专用网络环境 CHEPDTN 计划参与方 End user network Backbone network（IPv6） L2VPN gateway Openflow switch Control center 计划参与方 高能所/上海交大/山大/清华/…… CSTNet/CERNet Ruijie/CNLink

SDN@IHEP进展 和企业合作成立SDN联合实验室 完成IPv6链路优化 完成L2VPN开发、测试与部署 控制器平台建设进行中 点对点测试达到800Mbps 完成L2VPN开发、测试与部署 网络效率达到85％ 控制器平台建设进行中 2013年7月底部署OpenFlow交换机（暂定4台）

控制器 --Floodlight 一个Apache许可的openflow控制器 方便使用，可扩展，基于java开发环境 企业级水平 其核心引擎由bigswitch支持 生产系统使用 支持大量的物理或者虚拟交换机 Openstack quantum 不断支持新版本的openflow协议版本

谢谢！