Lustre在超算中心的部署、监控、故障恢复与优化

Slides:



Advertisements
Similar presentations
迪士尼公主裙衫变化记. 《白雪公主和七个小孩人》 《白雪公主和七个小矮人》,是世界电影史上第一部长动 画片,也是迪士尼的第一部。《白雪公主》不仅为迪斯尼 带来了第一尊奥斯卡小人,更是拯救迪斯尼于水火的贵 人 —— 在经济大萧条的 1937 年的美国,《白雪公主》为迪 斯尼赚到了 850 万美元,这约等于现在的数亿美元!
Advertisements

第七节 心 悸 郑祖平. 一、概述 心悸是一种自觉心脏跳动的不适感或心 慌感。当心率加快时感到心脏跳动不适, 心率缓慢时则感到搏动有力。心悸时,心 率可快、可慢,也可有心律失常,心率和 心律正常者亦可有心悸。 一般认为与心肌收缩力心搏量的变化及 患者的精神状态注意力是否集中等多种因 素有关。
台北縣私立多芮咪托兒所 家 長 手 冊. 序言 親愛的家長 : 關心寶貝與學前教育的過程,是您我共同的 責任;為寶貝創造更美好的明天,是我們共同 的心願。歡迎您的寶貝來本園就讀,並感謝您 對我們的信任與支持。為了使您更了解本園所 的一切,我們特別寫這篇家長手冊,以便您隨 時可以參考,並與學校配合,了解學校的教學.
1/67 美和科技大學 美和科技大學 社會工作系 社會工作系. 2/67 社工系基礎學程規劃 ( 四技 ) 一上一下二上二下三上 校訂必修校訂必修 英文 I 中文閱讀與寫作 I 計算機概論 I 體育 服務與學習教育 I 英文 II 中文閱讀與寫作 II 計算機概論 II 體育 服務與學習教育 II.
中秋节 作者:杨露. “ 团圆节 ” “ 秋暮夕月 ” 的习俗 中秋拜月 热爱中秋佳节 每年农历八月十五日,是传统的中秋佳节。 这时是一年秋季的中期,所以被称为中秋。在中 国的农历里,一年分为四季,每季又分为孟、仲、 季三个部分,因而中秋也称仲秋。八月十五的月 亮比其他几个月的满月更圆,更明亮,所以又叫.
§ 3 格林公式 · 曲线积分 与路线的无关性 在计算定积分时, 牛顿 - 莱布尼茨公式反映 了区间上的定积分与其端点上的原函数值之 间的联系 ; 本节中的格林公式则反映了平面 区域上的二重积分与其边界上的第二型曲线 积分之间的联系. 一、格林公式 二、曲线积分与路线的无关性.
佛教陳榮根紀念學校 姜曉霞老師、吳麗媚老師 元朗區小學教師發展日 二年級喜閱寫意校本整合 寫作教學.
聖若翰天主教小學 聖若翰天主教小學歡迎各位家長蒞臨 自行分配中一學位家長會 自行分配中一學位家長會.
認識食品標示 東吳大學衛生保健組製作.
第八章 互换的运用.
颞下颌关节常见病.
「健康飲食在校園」運動 2008小學校長高峰會 講題:健康飲食政策個案分享 講者:啟基學校-莫鳳儀校長 日期:二零零八年五月六日(星期二)
云计算系统测试技术与实践 中国软件评测中心 陈渌萍 2017年3月3日.
致理科技大學保險金融管理系 實習月開幕暨頒獎典禮
脊柱损伤固定搬运术 无锡市急救中心 林长春.
國有土地管理與運用問題之探討 主講人: 廖 蘇 隆 中華民國100年10月17 日.
2013年二手车市场环境分析.
第六课 师爱助我成长 我爱我师 导入 新课 进行 新课 练习 拓展.
結腸直腸腫瘤的認知.
經歷復活的愛 約翰福音廿一1-23.
华为- B 产品类型:CPE 建议零售价格:799元 上市时间: 2014年2月21日 目标人群:家庭用户,提供LTE上网的业务
郭詩韻老師 (浸信會呂明才小學音樂科科主任)
內容 1. 前言 2. 重要政策 3. 重要措施 4. 結語.
第五章 各类园林绿地的规划设计.
第二章 项目一:企业厂区与车间平面设计 1.
电气与信息工程学院 学科建设情况汇报
公務員廉政倫理規範與案例介紹 報告人:法務部 廉政署 防貪組 社會參與科 科長 陳敏森 2017/3/19 1.
務要火熱服事主.
提升课堂质量 助推教师成长 促进教学改革 “一师一优课,一课一名师”活动总结 河南省实验小学.
作业现场违章分析.
蒙福夫妻相处之道 经文:弗5:21-33.
2. 戰後的經濟重建與復興 A. 經濟重建的步驟與措施 1.
基于解释性语言的手机跨平台架构 Sloan Yi. Qt MTK.
好好學習 標點符號 (一) 保良局朱正賢小學上午校.
2014創新創業教育研習營 本梯次限額50名,以報名順序額滿為止!! 課程內容及時間:
妈妈我爱你 你总说我还不懂事 维护我像一张白纸 你眼中我永远是长不大的孩子 虽然我有好多心事 却已不愿说与你知 我曾任性地排斥你爱我的方式
珍惜时间 提高效率 初二1班
學生:蔡耀峻、許裕邦 座號:23號、21號 指導老師:黃耿凌 老師
4. 聯合國在解決國際衝突中扮演的角色 C. 聯合國解決國際衝突的個案研究.
6.5滑坡 一、概述 1.什么是滑坡? 是斜坡的土体或岩体在重力作用下失去原有的稳定状态,沿着斜坡内某些滑动面(滑动带)作整体向下滑动的现象。
新陸書局股份有限公司 發行 第十九章 稅捐稽徵法 稅務法規-理論與應用 楊葉承、宋秀玲編著 稅捐稽徵程序.
民法第四章:權利主體 法人 楊智傑.
大纲 高能所的数据密集型科学计算 Lustre在高能所的部署经验 问题和需求.
第二讲 搭建Java Web开发环境 主讲人:孙娜
华为—E8372h- 155 外观设计 产品类型:数据卡 建议零售价格:299元 上市时间:2017年6月7日 目标人群:大众
Visual Studio Team System 简介
Windows网络操作系统管理 ——Windows Server 2008 R2.
13.1 用框架劃分工作區,方便演示資訊 13.2 使用連結及鎖定點連接資訊 13.3 使用列表及表單演示資訊
PaPaPa项目架构 By:Listen 我在这.
三星—SCH-P739 建议零售价格:3980元 上市时间:2011年12月
四年級 中 文 科.
第二章 商业银行资本管理.
聖本篤堂 主日三分鐘 天主教教理重温 (94) (此簡報由聖本篤堂培育組製作).
厂商—型号 荣耀-HiRouter-H1 外观设计 产品类型:无线路由器 建议零售价格:149元 上市时间:2017 年 5月
第五章 三角比 二倍角与半角的正弦、余弦和正切 正弦定理、余弦定理和解斜三角形.
聖誕禮物 歌羅西書 2:6-7.
第四章 团队音乐会序幕: 团队协作平台的快速创建
产品介绍 TOPOLF-T198 产品类型:4G MIFI 建议零售价格:699元 上市时间: 2015年1月 目标人群:差旅人士
Cassandra应用及高性能客户端 董亚军 来自Newegg-NESC.
EC5373u-819 产品介绍 外观设计 产品类型:MIFI 建议零售价格:499元 上市时间:14 年 12 月12日
解决“最后1公里”问题.
Thomson-252G 外观设计 上市时间:2011年1月 目标人群:普通消者,行业用户费 标准配置:一电一充\耳机\数据线\DC充电器
陳重佑 Ph.D. 國立臺灣體育學院體育學系(所)助理教授
保變住開發要點 資料來源:台北市政府都發局.
依撒意亞先知書 第一依撒意亞 公元前 740 – 700 (1 – 39 章) 天主是宇宙主宰,揀選以民立約,可惜他們犯罪遭
Google的云计算 分布式锁服务Chubby.
基督是更美的祭物 希伯來書 9:1-10:18.
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
經文 : 創世紀一章1~2,26~28 創世紀二章7,三章6~9 主講 : 周淑慧牧師
圣经概論 09.
Presentation transcript:

Lustre在超算中心的部署、监控、故障恢复与优化 秦东明 qindm@sugon.com

Sugon与Lustre Lustre部署与高可用 Lustre监控 Lustre故障处理与恢复 Lustre针对小文件优化 SSC Lustre应用现状

Sugon与Lustre

Sugon与Lustre 2006年开始研究Lustre (v1.4.x)在IO密集型应用中的部署和优化 2008年开始在用户集群中部署Lustre(v1.6.x),并一直作为HOME目录使用 维持10+人的研究队伍,解决用户处碰到的各种问题,研发基于Lustre的方案产品

Lustre部署与高可用

Lustre部署与高可用(I) MDS双机共享MDT (ACTIVE-STANDBY) 2. OSS双机共享OST(ACTIVE-STANDBY) 3. MDT大小为OST总容量1~3‰ 4. MDT建议RAID6,OST建议RAID6

Lustre部署与高可用(II) 改进: MDS双机,MDT网络镜像 (ACTIVE-STANDBY) 2. OSS双机共享多个OST(ACTIVE-ACTIVE) 3. MDT大小为OST总容量1~3‰ 4. MDT建议RAID10,OST建议RAID6

Lustre部署与高可用(III) 同时支持多套网络:Ethernet和Infiniband, 也可以用路由,tunefs.lustre支持后期调整网络拓扑,务必记得writeconf HA的实现 开启OST/MDT MMP,配置HA的stonith,实现IPMI/BMC控制的重启被接管节点的功能 MDS和OSS一定要升级对应版本的e2fsprogs INODE是资源,MDT上bytes-per-inode按默认4K,OST上按1M

Lustre监控

Lustre监控 The Lustre Monitoring Tool (LMT) Sugon’s parastor100监控系统 The Lustre Alarm Toolkit (LAToolkit)

LMT监控架构

LMT监控界面

Sugon’s Parastor100监控界面

LAToolkit监控 曙光为超算定制研发 针对客户端在某些情况下死机后,一段时间不恢复会导致lustre server崩溃设计(load增大,死机,或拒绝连接) 实时监测所有故障客户端,并自动对其执行重启操作;同时分多级以短信、邮件和web报警的方式通知到各级管理员;

Lustre故障处理与恢复

Lustre常见故障 Quota导致的拒绝服务,限额与实际空间不一致问题 升级e2fsprogs导致MDT部分数据丢失 MMP被误置位导致无法挂载 文件系统只读(MDT只读;OST只读,如由Bug23959引起) OST紊乱、故障,OSS无法挂载,数据丢失 ptlrpc_expire导致的拒绝服务

Lustre优化

Lustre针对小文件优化(含做HOME目录) MDS配置尽量大的内存,可考虑用SSD 控制条带策略,不用条带(可采取默认策略) 客户端优化 增加dirty cache,默认32MB,可增加为256MB以上,max_dirty_mb 增加max_rpcs_in_flight数目,默认8,可增加到32 禁用LNET DEBUG OSS端优化 禁用或减小读缓存区大小obdfilter.*.readcache_max_filesize=$xM 小于$x的文件才缓存 减小preallocation table echo "4 8 16 32 64 128 256 512 1024" > /proc/fs/ldiskfs/xxxxx/prealloc_table

SSC Lustre应用现状

SSC Lustre应用现状 B、C两个区采用Lustre,目前版本采用1.8.5.sun B区17个OST,150TB空间,active-standy双机 C区24个OST,150TB空间,active-active双机 聚合IO带宽IOZone测试达7GB/s以上,部署LMT和LAToolkit监控系统,每天监控实时数据显示写入速度维持在1GB/s.