高效能運算服務 （High Performance Computing） 建置之經驗分享 2008/02/15 台灣微軟 2008 學術交流研討會 台灣大學 計算機及資訊網路中心 作業管理組 程式設計師 張傑生 jsc@ntu.edu.tw

大綱 歷史回顧 現況說明 推廣瓶頸 規劃考量 改善需求 未來展望 心得交流

歷史回顧 1990~年代 Cray XMP Cray J916 Vector machine So-called supercomputer They were retired several years ago due to Y2K. J916 XMP

現有設備 建置日期：2003/11 運算節點：50 效能 未來計畫移做教育訓練用途 Nexcom Blade Server Dual Intel Xeon 2.0GHz 1GB memory Gigabit ethernet connection 效能 Rpeak: 400 GFlops Rmax: 200 GFlops 未來計畫移做教育訓練用途

現有設備 建置日期：2005/05 運算節點：78 效能: 目前服務主力 適合對象： IBM Blade Server Dual Intel Xeon 3.2GHz 5GB memory Gigabit ethernet connection 效能: Rpeak: 998 GFlops Rmax: 500 GFlops 目前服務主力 適合對象： Serial jobs（非平行化程式） 已透過 MPI 平行化之程式

現有設備 建置日期：2006/11 運算節點： 效能: 目前服務主力 適合對象： IBM p595 64*Power5 1.9GHz CPU 256GB memory AIX 5.3 效能: Rpeak: 486 GFlops Rmax: 421 GFlops 目前服務主力 適合對象： 已透過 OpenMP 平行化之程式 大量記憶體需求之程式

現有設備 建置日期：2006/11 完工日期：2007/05 運算節點：106 效能: 適合對象： HP DL145G3 Server Dual Intel Xeon 3.0GHz 4GB memory Infiniband connection 效能: Rpeak: 4900 GFlops Rmax: 3022 GFlops 適合對象： 已透過 MPI 平行化之程式 需要大量 cpu 數目之程式

2003 Nexcom 刀鋒伺服器 2005 IBM 刀鋒伺服器 2006 HP 機架伺服器 2006 IBM 大型主機 主機種類 Grid Computing Cluster SMP Share Memory Architecture 硬體規格 50 組運算節點 Dual Xeon 2.0GHz CPU 1G mem 78 組運算節點 Dual Xeon 3.2GHz CPU 5G mem 106 組運算節點 Dual Xeon 3.0GHz CPU with Dual Cores 4G mem 單一主機具備 64顆CPU 256GB 記憶體 128 組運算節點 Dual Xeon 3.0GHz CPU with Quad Cores 8G mem 網路連結 Gigabit Ethernet Infiniband N/A 計算效能 200G Flops 500G Flops 3022G Flops 421G Flops 8189G Flops 作業系統 Linux/Debian Linux/Redhat IBM AIX Windows 2003 排程軟體 OpenPBS/Torque LSF/Slurm LoadLevel WCCS/PBSPro 安裝軟體 Open Source Packages Open Source  Packages Intel, PGI compiler Intel Math Kernel Library IBM XLC/Fortran ESSL IMSL 安裝多組 商業套裝軟體 服務對象 Sequential program 與使用少量節點之 MPI 平行程式 需要使用大量節點之 MPI 平行程式 需要使用大量記憶體之 sequential program 以執行套裝軟體為主 備註 由於硬體規格相對老舊，因此以教學與測試用途為主。   預計於 2008/04 上線服務

現況說明 服務對象 服務政策（~2007） 遍及校內 5 學院 1 中心共 18 系所之研究團隊約四十組。 包括：物理系、化學系、凝態中心、土木系、機械系、工科系、農藝系、光電所、電子所、電信所、資工系與藥學系等單位。 服務政策（~2007） 資源分配遵循公平性原則，一視同仁。 以提供基礎設施為主 Hardware/OS/compiler 鼓勵使用者自行採購所需軟體 定期舉辦服務推廣說明會與教育訓練

推廣瓶頸 推廣心得 檢討 侷限於服務「既有」使用者 新使用者拓展速度低於預期 教育訓練 使用者追求短線績效 商業套裝軟體所費不貲 緩不濟急 程式開發能力養成非旦夕之功可及 遑論平行化概念及技巧 使用者追求短線績效 投入人力時間望之卻步 開發程式 既有程式平行化 替代方案 套裝軟體 商業套裝軟體所費不貲 Unix* environment Not able to run windows applications!

使用者群分析 Source code available platform independent sequential program 1. general case 2. large memory requirement parallel program 1. MPI 2. OpenMP Commercial package platform dependent Linux 1. SAS 2. Discovery Studio 3. Material Studio Windows 1. SAS 2. SPSS 3. Matlab 4. Mathematica

2007 Cluster 規劃考量 目標 規劃 建置 開發新使用者，推廣高效能運算服務。 滿足不同族群使用者之需求 採用 Windows Compute Cluster Server（WCCS）2003 Debuted at Dec/2006 提供 Windows based 計算環境 方便使用者執行 windows application 購置少許商業套裝軟體 SAS/SPSS /Matlab/Mathematica 期望有效控制採購版權數目 服務對象 需要長時間執行程式之使用者 建置 廠商提供足夠版權數目之 Linux/Windows 作業系統 未來將視使用狀況調整 128 nodes 之 OS 分配

建置中 建置日期：2007/10 運算節點：128 Infiniband connection 效能: 未來規劃 IBM Blade Server Dual Intel Xeon 2.66GHz with quad cores 8GB memory Infiniband connection 效能: Rpeak: 10895 GFlops Rmax: 8189 GFlops 未來規劃 以執行「套裝軟體」為主

2007 Windows Cluster 環境示意圖

改善需求 WCCS 仍有許多成長空間 軟體本身 技術支援 系統記錄 多元化 job queue 支援 統計報表 微軟公司 軟體廠商 網路社群 執行時間、資源分配、差異化權限 統計報表 技術支援 微軟公司 技術文件、知識庫 軟體廠商 缺乏與 WCCS 整合經驗 多核心、平行版本之計價方式與使用 網路社群 可搜尋文件有限

未來展望 持續推廣高效能運算服務 教育訓練 套裝軟體 善用電腦教室資源 拓展使用者數目 從遙不可及的「高效能運算」轉化成 唾手可得的「普及運算」 教育訓練 利用 visual studio 友善環境及平行化支援 降低除錯難度 提升平行化程式開發能力 套裝軟體 利用 WCCS 架構 提供環境方便使用者執行熟悉軟體 有效控管軟體版權避免浪費 善用電腦教室資源 納入 WCCS 控管 充分利用系統閒置時間

新的驚奇 Windows HPC Server 2008! What is that? What is the future of WCCS 2003?

心得交流 謝謝大家 敬請不吝指教