高能所数据存储系统现状与规划 李海波 中科院高能所计算中心 2017/6/5 成都.

Slides:



Advertisements
Similar presentations
Information Resource Management
Advertisements

计算机网络课程总结 一、计算机网络基础 计算机网络定义和功能、基本组成 OSI/RM参考模型(各层的功能,相关概念, 模型中数据传输 等)
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
对存储系统发挥特殊作用的文件系统 2006年5月 - 北京.
PB级科研数据集的管理和应用 曙光信息产业(北京)有限公司.
第三章 数据类型和数据操作 对海量数据进行有效的处理、存储和管理 3.1 数据类型 数据源 数据量 数据结构
HADOOP的高能物理分析平台 孙功星 高能物理研究所/计算中心
SA120/SAS112/NAS产品介绍 2013 LENOVO INTERNAL. All rights reserved.
面向南极天文观测的 节能存储系统 天津大学 王洁
项目四 组建跨地区网络 授课教师:肖颖.
基于解释性语言的手机跨平台架构 Sloan Yi. Qt MTK.
企业级云计算 A Enterprise Cloud Serivce
第6章 数媒资产管理系统的存储技术 刘士军 1、光纤通道
联想DSS并行存储 张莫穷, 联想HPC团队
Cell organized Distributed File Storage
Information & Security System in China China North Eastern Air Traffic Control Bureau (CAAC) Customer Background Subsidiary of General Administration of.
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
GlusterFS培训 中科院高能物理研究所计算中心 李海波
Hadoop I/O By ShiChaojie.
李亚康,齐法制,洪剑书,计算中心同事 中国科学院高能物理研究所 中国散裂中子源 2017/6/5,成都
大纲 高能所的数据密集型科学计算 Lustre在高能所的部署经验 问题和需求.
淘宝核心系统数据库组 余锋 利用新硬件提升数据库性能 淘宝核心系统数据库组 余锋
SVN的基本概念 柳峰
Chinese Virtual Observatory
R in Enterprise Environment 企业环境中的R
Isilon中国区技术经理 杨峰 虚拟天文台年会 存储技术交流 Isilon中国区技术经理 杨峰 Isilon Proprietary and Confidential.
信息存储与管理 国家天文台 (科技处)信息与计算中心.
存储系统.
大学计算机基础 典型案例之一 构建FPT服务器.
基于OpenStack的散裂中子源计算环境概述 —CSNS私有云环境现状
第11章:一些著名开源软件介绍 第12章:服务安装和配置 本章教学目标: 了解当前一些应用最广泛的开源软件项目 搭建一个网站服务器
大数据管理技术 --NoSQL数据库 HBase 陈 辉 大数据分析技术.
基于SDN架构的高能物理数据传输虚拟专用网络研究与建设 For HEP Data
文件读写实践 广州创龙电子科技有限公司 01 广州创龙电子科技有限公司
LHAASO合作组会议,2017,威海 LHAASO作业调度及 存储系统 中科院高能物理研究所计算中心 李海波 威海.
高能所个人云存储服务 IHEPBox使用 职 工: 齐孟尧 日 期:
数据挖掘工具性能比较.
走进中国科技网 中国科技网 李辉.
DevDays ’99 The aim of this mission is knowledge..
高能物理计算环境概述(IHEP) 中科院高能物理所计算中心 姜晓巍.
李亚康,齐法制,洪剑书,计算中心同事 中国科学院高能物理研究所 中国散裂中子源 2017/7/5,威海
Lustre在超算中心的部署、监控、故障恢复与优化
BESIII Dcache存储 设计与实现 闫晓飞 高能物理研究所 计算中心 2013年7月4日 2019/4/8.
内容摘要 ■ 课程概述 ■ 教学安排 ■ 什么是操作系统? ■ 为什么学习操作系统? ■ 如何学习操作系统? ■ 操作系统实例
微机系统的组成.
校园之路.
第四章 团队音乐会序幕: 团队协作平台的快速创建
Cassandra应用及高性能客户端 董亚军 来自Newegg-NESC.
实验七 安全FTP服务器实验 2019/4/28.
计算机网络与网页制作 Chapter 07:Dreamweaver CS5入门
解决“最后1公里”问题.
核探测与核电子学国家重点实验室 中国科学技术大学近代物理系 王照琪
报告人:曾婷轩 实验物理中心数据获取组 2015年08月19日
南大天文系的 计算环境 黄永锋 南京大学天文系
本节内容 文件系统 视频提供:昆山爱达人信息技术有限公司 官网地址: 联系QQ: QQ交流群 : 联系电话:
Touch Github = Touch the World
计算机绘图 AutoCAD2016.
GIS基本功能 数据存储 与管理 数据采集 数据处理 与编辑 空间查询 空间查询 GIS能做什么? 与分析 叠加分析 缓冲区分析 网络分析
Google的云计算 分布式锁服务Chubby.
云计算在高能物理实验 分布式计算的结合应用
高能物理实验数据跨域访问缓存系统 报 告 人 : 徐 琪 , 王聪 单 位 : 中国科学院高能物理研究所 报告日期 : 2017年7月4日.
基于列存储的RDF数据管理 朱敏
C++语言程序设计 C++语言程序设计 第一章 C++语言概述 第十一组 C++语言程序设计.
進行員工胸部X光 主講人:黃宜玟感控師 林新醫院
3.8 局域网应用实例 某省劳动和社会保障网络中心组网实例 会议中心的无线组网实例.
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
中科院高能所 计算中心 曾 珊 中科院高能所 计算中心 齐法制
入侵检测技术 大连理工大学软件学院 毕玲.
《手把手教你学STM32-STemWin》 主讲人 :正点原子团队 硬件平台:正点原子STM32开发板 版权所有:广州市星翼电子科技有限公司
校园之路.
Presentation transcript:

高能所数据存储系统现状与规划 李海波 中科院高能所计算中心 2017/6/5 成都

高能所承担的高能物理实验 BEPCII/BESIII 大亚湾反应堆 JUNO江门中微子实验 羊八井宇宙线实验 LHAASO高海拔宇宙线观测站 每年产生~100TB原始数据 目前数据量超过3.5PB 未来5年数据量超过5PB 大亚湾反应堆 目前数据量超过400TB JUNO江门中微子实验 每年产生2PB数据 羊八井宇宙线实验 每年产生200TB数据 LHAASO高海拔宇宙线观测站 CSNS、CEPC、硬X射线调制望远镜… 高能所是WLCG的Tier-2站点,参与ATLAS和CMS实验 2018/12/6 2017年高能物理计算和软件会议

典型高能物理数据处理过程 数据获取 数据处理 数据分析 从探测器获取Raw Data、蒙特卡洛产生数字化的二进制格式的电子信号 处理后Raw/MC Raw产生相关物理信息,如动量、能量等物理量 数据分析 由上千个属性组成的DST Event文件,提供物理学家进行分析,并最后产生物理结果 蒙特卡洛模拟 探测器 原始数据/模拟数据 磁盘 磁带 高能所 重建数据 事例重建 磁盘 磁带 物理分析 物理成果 磁盘 2018/12/6 2017年高能物理计算和软件会议

高能物理数据存储需求 实验数据量巨大 支持高吞吐率的数据并发访问 实验数据需长期稳定存储 实验数据共享使用 PB级数据存储与处理,正在向EB级迈进 以非结构化数据为主 支持高吞吐率的数据并发访问 IO模式以大块数据(MB)读写,一次写多次读、吞吐率高(单个作业需要几MB/S)为特征 小文件(KB级的程序和文档)查询和浏览 高并发访问 实验数据需长期稳定存储 BESIII实验的原始数据必须保证在实验结束后至少15年以上的生命期内还可以使用 实验数据共享使用 国际合作密切,数据需要共享使用 2018/12/6 2017年高能物理计算和软件会议

海量数据分布式存储系统 集群文件系统 应用层存储系统 分级存储系统 其他 以传统文件系统的方式来访问,客户端实现内核模块,完全兼容POSIX语义,上层数据处理软件无需任何修改 Lustre、Gluster、GPFS、EOS、ISILON等 应用层存储系统 一般不实现文件系统内核模块,不完全兼容POSIX语义,上层应用功能需要调用特定API访问 GFS、HDFS等 分级存储系统 根据文件的访问频率、热度等因素,将不同数据分配到不同的存储设备上 基于磁带-磁盘:Castor、dCache 基于固态硬盘(SSD)和串口机械硬盘(SATA) 其他 云存储 Amazon S3 2018/12/6 2017年高能物理计算和软件会议

高能所数据存储服务 CASTOR CVMFS Gluster NFS DPM dCache AFS 2018/12/6 2018/12/6 2017年高能物理计算和软件会议

高能所数据存储服务 CASTOR CVMFS Gluster NFS DPM dCache AFS 实验数据存储 Lustre:主要存储大文件实验数据,如BES,DYB等实验 Gluster:主要存储小文件数据,如YBJ EOS:主要存储LHAASO实验数据 实验数据存储 2018/12/6 2017年高能物理计算和软件会议

高能所数据存储服务 CASTOR CVMFS Gluster NFS DPM dCache AFS 数据长期保存和备份 Castor:使用磁带进行数据长期保存和备份 数据长期保存和备份 2018/12/6 2017年高能物理计算和软件会议

高能所数据存储服务 CASTOR CVMFS Gluster NFS DPM dCache AFS 用户个人数据存储 AFS:用户HOME目录、公共软件库 CVMFS:公共软件库 IHEPBox:高能所云盘,存储用户个人文件 用户个人数据存储 2018/12/6 2017年高能物理计算和软件会议

高能所数据存储服务 CASTOR CVMFS Gluster NFS DPM dCache AFS 网格数据存储 dCache:存储CMS实验数据 DPM:存储ATLAS实验数据 网格数据存储 2018/12/6 2017年高能物理计算和软件会议

实验数据存储-Lustre系统 Lustre是Top 500计算机中使用最广泛的分布式文件系统 目前高能所最大的磁盘存储系统 硬件平台 开源可定制,兼容多种底层网络、IO性能横向性能扩展、完整的POSIX语义支持、细粒度的文件锁等特点 主要用于超算领域,全球多个高能物理实验室使用 目前高能所最大的磁盘存储系统 从2008年开始部署 主要用于存放BES,DYB,JUNO等实验数据 约 9 PB存储空间,60台服务器,1000多个客户端节点 已存放5 PB 的实验数据,2.7 亿个文件 硬件平台 HP/DELL 2U 商业服务器 Dell MD3860f/Huawei OceanStor V5500 盘阵 2018/12/6 2017年高能物理计算和软件会议

Lustre部署架构 当前架构 二次开发 万兆以太网上联 静态分区 存储直连 DDP快速磁盘重建 细粒度的性能监控 进程级IO追踪和作业分类 自适应的客户端Cache设置 多路径故障报警:邮件、短信、微信、WEB等 Cluster MDS MDT 7 MDSs 7 mount points Native SAS Disk Arrays of the servers, RAID 10 OSS OSTs Storage LUNs, RAID 6 DELL DDP/HUAWEI RAID2.0 (fast rebuild ) Capacity per OSS: 240TB-300TB # Disk per OSS: 60-75 Capacity/Raw Disk Space: ~0.7 10 Gb Ethernet ~60 OSSs DAS Storage connection 2018/12/6 2017年高能物理计算和软件会议

Lustre规划 版本升级 可靠性 可用性 IO性能 2.5->2.9, 单一mount点,静态存储分区 商业版本,减少BUG修复延时 改进元数据存储的连接方式 多级数据冗余 可用性 服务器的ACTIVE-ACTIVE HA 基于性能和日志信息联合分析的故障预警 IO性能 通过万兆网卡bonding,消除网络性能瓶颈 2018/12/6 2017年高能物理计算和软件会议

实验数据存储-Gluster系统 Gluster文件系统是一个开源的分布式文件系统,可以支持数PB级存储容量和上千客户端 无元数据服务器,无单点故障,支持副本功能,具有高扩展性、高可用性、可横向弹性扩展等特点。 主要用于海量小文件数据存储 目前支持羊八井和Besfs2实验数据存储 Ybjgfs:约347T存储空间,5台服务器 Besfs2:约387T存储空间,8台服务器 Brick stoarge Computing Cluster SATA Disk Array RAID 6(Main) 10Gb Ethernet RAID 6(extended) 2018/12/6 2017年高能物理计算和软件会议

实验数据存储-EOS系统 CERN于2010年开发的磁盘文件系统 内存元数据服务器,支持纠删码、磁盘组等多种新型存储技术 目前已成为CERN主要的实验数据存储系统,存储规模达到150PB 美国、俄罗斯、澳大利亚等全球十几个高能物理实验室已部署多个PB级以上的EOS实例 2018/12/6 2017年高能物理计算和软件会议

EOS存储现状 面向计算服务: 2016年2月上线 1个实例 总空间797TB 已使用180TB,40万目录,1700万文件 支持LHAASO、多学科实验 每个用户默认配额100GB,5万个文件 总空间797TB 已使用180TB,40万目录,1700万文件 软件基于Beryl v0.3.195版本 5台服务器,其中元数据服务器配备128GB内存 2018/12/6 2017年高能物理计算和软件会议

EOS挑战 FUSE访问性能问题 ⇒ 重写EOS FUSE 元数据纵向扩展(scale up) ⇒ 横向扩展(Scale out) 解决方案:EOS Citrine 版本 优化元数据存储方式为内存数据库KV持久化存储(QuarkDB) 提供新的元数据服务器HA 使用XRootD 4 优化FUSE CERN将于2017 Q2上线 2018/12/6 2017年高能物理计算和软件会议

数据长期存储-Castor磁带存储 基于CERN开发的CASTOR1,二次开发分级存储系统 15个IBM 3584磁带柜 存放不频繁访问、需要长期保存的数据,如备份数据,原始物理数据 将磁盘、磁带整合,构建成统一的文件命名空间,根据文件访问频度等因素,自动在磁盘与磁带之间迁移数据 15个IBM 3584磁带柜 26个LTO4磁带驱动器 6223个槽位,约5PB磁带空间 2018/12/6 2017年高能物理计算和软件会议

Castor现状 已保存数据量约3.7PB 聚合访问速度2.1GB/s BES、DYB原始数据双份磁带 磁带升级:LTO4->LTO7 容量800GB/1.6TB(压缩后),传输速率:120MB/s LTO7磁带: 容量6TB/15TB(压缩后),传输速率:300MB/s 2018/12/6 2017年高能物理计算和软件会议

用户管理-AFS 用户管理 提供用户的HOME目录 存放各实验的公共软件库 负责全所计算用户(2055个)的账号和密码管理 提供用户的HOME目录 存放各实验的公共软件库 BESIII、JUNO、dayabay、CSNS、YBJ、LHAASO等 存储规模:空间45TB,5千多万个文件/目录(51M files/dirs) AFS系统面临的现状 AFS的软件更新很慢、人员离开、资金问题、社区不活跃等 AFS不支持IPV6 2018/12/6 2017年高能物理计算和软件会议

公共软件库-CVMFS CERNVM-FS是由CERN开发的一种缓存文件系统,相对于AFS由许多优点 CVMFS替代AFS存储公共软件库 Fuse模式 & 只读文件系统 客户端本地磁盘缓存 适合远程站点,加载公共软件 HTTP协议传输,基本不受站点防火墙影响 支持IPV6 CVMFS替代AFS存储公共软件库 存放各实验的公共软件库 2018/12/6 2017年高能物理计算和软件会议

CVMFS系统现状 CVMFS系统现状 IHEP-cc site remote site 存储规模:总空间19TB 已部署BESIII/HEPS_AP/BEPC等实验组软件库 对CERN/EGI/opensciencegrid进行本地数据同步 A B STRATUM-0 STRATUM-1 HA Squid a (squid01) Squid b Squid c login nodes work node IHEP-cc site remote site Public IP /cvmfs/repository/ 2018/12/6 2017年高能物理计算和软件会议

高能所云盘-IHEPBox IHEPBox是什么? 用途 基于EOS和Owncloud的高能所云盘 数据跨平台、实时同步 文档在线编辑、分享、上传下载、协同编辑、版本回调 多媒体文件在线预览、播放 数据加密、安全、稳定、高效 2018/12/6 2017年高能物理计算和软件会议

IHEPBox现状 高能所云盘IHEPBox 总空间192TB,使用13TB 4台服务器 每个用户100G空间 活跃用户~1000 http://ihepbox.ihep.ac.cn/ihepbox/index.php 2018/12/6 2017年高能物理计算和软件会议

存储系统演进路线 Gluster CVMFS NFS DPM dCache CTA AFS CVMFS NFS CASTOR CVMFS NFS DPM dCache CTA AFS CVMFS NFS CASTOR 用户HOME目录&&公共软件库 逐步淘汰AFS HOME目录,使用EOS代替 公共软件库,使用CVMFS代替 数据长期存储 使用CTA(the tape backend of EOS),用户可以通过EOS直接从磁带检索或存档文件到磁带 实验数据存储 Lustre存储大文件实验数据 Gluster逐步淘汰 EOS存储小文件数据 2018/12/6 2017年高能物理计算和软件会议

什么是CTA? CTA( A tape backend for EOS ) EOS+CTA取代Castor进行磁带存储 EOS的磁带后端 磁带驱动器调度器 EOS+CTA取代Castor进行磁带存储 磁带中文件格式保持不变,只需迁移元数据 CERN deployments with CASTOR 1 Deployments with EOS plus CTA CASTOR Experiment Tape libraries EOS Files EOS + CTA Experiment Tape libraries EOS Files 2018/12/6 2017年高能物理计算和软件会议

总结和展望 高能物理数据存储有其特殊性,需要多种存储系统支持 高能物理数据存储系统需要满足不断增长的新需求 不同实验对存储需求不同 用户管理、公共软件 高能物理数据存储系统需要满足不断增长的新需求 EB级数据存储 跨地域多站点的统一存储 基于日志信息联合分析的故障预警 2018/12/6 2017年高能物理计算和软件会议

谢谢! 2018/12/6 2017年高能物理计算和软件会议