Linux操作系统及HPC简介 李振宁 2014.10.

Presentation on theme: "Linux操作系统及HPC简介 李振宁 2014.10."— Presentation transcript:

1 Linux操作系统及HPC简介 李振宁

2 OUTLINE 引子 Linux操作系统 SYSU HPC & TH-2A Team Server

3 引子 Technical Training & Sharing 加快技术经验在团队成员间的流动 疏散化管理，想讲就讲，想来就来，想走就走
1-2 speakers, each less than 1 hour 与技术相关的任何方面，just share 高能预警：本次少干货，多瞎扯……

4 OUTLINE 引子 Linux操作系统 SYSU HPC & TH-2A Team Server

5 Linux之父 Linus Torvalds （李纳斯·托瓦茨） Linux之父，Git之父，美籍芬兰人
参考阅读： 自传《Just for fun》 《Linus，一生只为寻找欢笑》 “My name is Linus, and I am your God.” “ Talk is cheap. Show me the code. ” “There are three things that have meaning for life. They are the motivational factors for everything in your life——for any­thing that you do or any living thing does : The first is survival, the second is social order, and the third is enter­tainment.” By Linus Torvalds

6 Linux发展背景 Background： Unix  GNU (GNU’s Not Unix)  BSD  Minux
Linus首次发布源代码 (10,000lines v0.01) v1.0 (170,000lines) 《泰坦尼克号》在制作特效中使用的160台Alpha图形工作站中，有105台采用了Linux操作系统 Redhat实验室成立，Mozilla浏览器成标配，google现身，并使用Linux为服务器系统；Microsoft发布反Linux公开信 2000……服务器、高性能计算、嵌入式系统、移动终端……

7 Linux家族谱

8 Linux发行版本 Linux不属于任何一家公司或个人， 任何人都可以免费取得甚至修改它的 源代码（source code）。
Red Hat CentOS Ubuntu Fedora Debian SuSE Kylin (麒麟) Android (COS…)

9 Top 7 Desktop OSs up to 2014/09

10 market share of OSs for servers

11 Linux学习准备 预备知识 准备 硬件知识 软件知识 解决问题的技能 (系统的非商业化造成，对程序员友好而对用户不友好)
计算机系统结构 （CPU  Memory  Disk ） 网络基础 （LAN / WAN / Roter…） 软件知识 操作系统基本概念，网络基本概念 （IP / DNS / ftp / www…） 解决问题的技能 (系统的非商业化造成，对程序员友好而对用户不友好) 夯实的基础知识 百度、google搜索 穷举、递归与类比的思路 准备 自行尝试安装某一发行版本的Linux （务必） 熟悉Gnome或KDE的X-Window

12 Linux学习思路 正式学习 抛弃图形界面 选择一本优秀的教材 （推荐鸟哥系列） 反复实践实践再实践
2-3hrs/day & 2-3weeks 看书与实践同步，只需要花28-63个小时，学习终身受用的技能！ 一直学习到shell 反复实践实践再实践

13 Highlight for met-researcher
1. 安装分区规划，重要内容备份，反复重装是Linux学习的必经之路 2. 文件系统概念差别 （Linux—一切都是文件，Windows…） 3. 集群概念、CPU layers、内存、通信、IO （HPC基本知识） 4. 常用系统命令必须掌握 $cd, ls, ln, rm, mkdir, mv, cp, du, df, grep, tail, less, top, ps … 5. 必须学会一种编辑器，强烈建议学会vim :wq, :q!... dd, yy, p, x…. 6. 用户权限的概念要清楚 rwx …. chown, chmod 7. 管道，输出重定向，后台执行任务 $tail run.log | grep “SUCCESSFUL TERMINATION” $csh ./cam5.build >& build.log & 8. 会看、改、写shell (bash, csh)脚本 9. 杂项：ssh, scp, .bashrc, rpm软件安装…

14

15 推荐参考资料 《鸟哥的Linux私房菜：基础学习篇》 Google, baidu, etc. 《Linux指令范例速查手册》 Linux中国
CSDN 为什么这些死脑筋们在用vi 《Vi and vim》 Venture into vim 百度视频课程

16 OUTLINE 引子 Linux操作系统 SYSU HPC & TH-2A Team Server

17 Lewis Fry Richardson and Parallel computing
1.《LFR翻译》J.C.R Hunt 著， 北大大气系师生翻译 2.《StormWatcher》John D. Cox著， 北大大气系闻新宇老师等译

18 并行程序与MPI的概念 效率 并行算法 实现手段 串行程序看单核主频 并行程序的效率……是一领域
Hpc3: AMD GHz Hpc4: E GHz Workstation: i GHz Dell T1700: i GHz Bluefire: Power GHz TH-2A: E GHz 并行程序的效率……是一领域 并行算法 A(3,5,2)+B(1,1,2)=C(4,6,4) 实现手段 MPI (Message Passing Interface) 主频F ∝ n/t

19 现有平台 HPC3: 32 cores, 64GB/node, Redhat 6.2
团队clusters: 文件系统集成于HPC4，提交ys队列，共10个节点，160 cores，因为没有排队机制，所以 使用前请务必注意同时使用的总节点数≤10 ， TH-2: 24 cores, 64GB/node, Kylin Linux

20 节点关系 访问终端 请先看用户手册 请不要在登录节点运行程序 ssh 登录节点 Pbs脚本 I/O I/O I/O 计算节点 文件系统
管理节点 分配计算节点

21 连接工具 ssh连接工具 Windows Linux Mac OS X / iOS Android
Putty、SSH Client、X manager、SercureCRT…… Linux Terminal ssh Mac OS X / iOS Terminal ssh / iSSH、Prompt…… Android ConnectBot……

22 Pbs系统

23 TH-2系统简介

24 TH-2系统简介 登录方式 登录节点 VPNssh ln5 (默认) ln20-23进行编译提交作业操作
4路8核Xeon E (4*8=32CPUs/node) 128GB/node内存

25 TH-2系统简介 计算节点 16000个 双路Xeon E5-2692-v2 (2*12=24CPUs/node) 64GB/node内存
3*Xeon Phi 57cores ( WRF √ ; CESM ×, but SEWG are working hard…)

26 From John Dennis

27 OUTLINE 引子 Linux操作系统 SYSU HPC & TH-2A Team Server

28 招标服务器 DELL PowerEdge T620

29 Server, and others 团队内网 学校内网 万维网 团队终端 内网服务器 超算资源 外网服务器 外网终端

30 团队服务器基本功能 文献、报告资料、观测及模式数据的存储与高速共享访问 基本模式数据的自动化后处理与快速绘图
基于Web服务的团队内容管理（CMS） 973网站的备份、调试平台 24小时访问超算资源的跳板平台 Proxy服务，实现对外网的代理访问 (google scholar)

31 团队服务器基本功能 访问代理功能 (Proxy) 个人博客页面 (Blog) 内容管理系统 (CMS) 网站测试平台 (WTB)
文献共享系统 (PSS) 资料共享系统 (RSS) 模式诊断系统 (MDS) 数据共享系统 (DSS) 超算跳板平台 (Jump Board) 常用软件包集合 1 year

32 内容管理系统 (CMS) 采用wiki形式，统一管理其他功能子系统 高速的内部访问共享 范例： Testbed 北大气候组CMS
南大大气环流课程资料 Testbed Yang’s Team

33 内容管理系统 (CMS) 文献共享系统 (PSS) Google scholar support 交互式上传/下载 中央数据库
引文信息自动生成

34 Submit my / others paper
Paper Sharing People’s work Auto scripts Net transport Web Page Local Server Database PHP & Mysql Engine Attachd pdf Search Info Std refer & pdf Std Info Submit my / others paper Query a paper & refer

35 内容管理系统 (CMS) 资料共享系统 (RSS) 系统规格 模式说明 培训ppt 成果展示ppt 问题：文件结构的规划组织与管理？

36 内容管理系统 (CMS) 数据共享系统 (DSS) 优势：内部高速访问，避免分散冗余存储 大气所采用小集群实现，没有做界面交互 观测资料
CFSR NCEP / DOE 模式资料 AMIP CMIP 问题：“常用”与管理

37 内容管理系统 (CMS) 模式诊断系统 (MDS) 大气所FGOALS，采用NCAR Model诊断页面 运行状态实时监测 自动化后处理
初步绘图 NCAR CESM 自动化诊断平台 诊断程序包 诊断页面

38 CESM ~ CFRAM Auto scripts Clusters People’s work Net transport
Local Server design ideas Check it out! Std Input Pictures CESM Web Pages Raw Output Formated Output CFRAM Formated Output Raw Inupt OBV Data Pictures

39 超算跳板平台 (Jump Board) 基本权限 服务 校内IP访问校内超算资源 TH-2在Linux下的VPN代理 开放ssh端口
跳板用户jumper登陆跳转权限

40 访问代理功能 (Proxy) 服务 提供Proxy代理服务 越过GFW访问google / youtube 等

41 Thanks! 欢迎加入！学习新知识，接受新挑战！