基于机群结构的 高性能服务器技术 清华大学 计算机系 高性能技术研究所 2000年7月1日
服务器的发展与特点
服务器技术 基于Internet的服务型应用需要高性能的硬件平台作为支持 并行处理技术在高性能计算领域中，已经取得了巨大的成功 将并行技术应用在服务器领域中，是计算机发展的必然趋势 高可用和高性能是服务器发展的两个重要方向
高性能计算 与 高性能服务
服务器的种类 大型主机：IBM S/390 对称多处理机（SMP）：Sun Ultra E10000 具有较强的处理能力，但是专用设计的价格昂贵 对称多处理机（SMP）：Sun Ultra E10000 适用于中小规模的信息服务系统，受其结构的影响扩展性较差，单台SMP机器无法满足日益增长的信息服务需求 大规模并行处理机（MPP）：IBM SP2 强大的计算能力和快速的通信系统，但是价格不菲，性能价格比不好 机群系统（COW or NOW）：清华同方108 将多台独立的计算机通过高速网络连接起来，提供高性能的服务，良好的扩展性和可用性，较高的性能价格比
服务器的发展趋势 传统的终端/主机模式 客户机/服务机模式 终端功能简单，无需维护工作，在主机一端进行专门的管理与维护。但是，主机造价昂贵，终端没有处理能力 客户机/服务机模式 该模式推进了计算产业的标准化和开发化的发展 分布式的网络模型为系统提供了相当大的灵活性，但是随着分布系统规模的规模扩大，系统的维护和管理带来了巨大的开销
服务器的发展趋势（续） 服务器机群系统 在机群系统中，服务器不再分布在各处，而是集中在一起统一进行管理和维护。 它保持了分布式客户机/服务器模式的开发性、可扩展性的优点，同时又具备了终端/主机模式的资源共享和集中易于管理的优点 相对集中的机群系统，降低了系统管理的成本，而且还提供了和大型服务器系统可比拟的服务能力 SMP机群系统是服务器发展的一个重要方向
SMP机群服务器 机群系统以SMP机器为结点，构成SMP机群 4路处理器的SMP机群系统与SMP系统的性能比较
机群服务器的优势 良好的扩展性 在机群系统中可以动态地加入新的服务器和删除需要淘汰的服务器，从而能够最大限度地扩展系统以满足不断增长的应用的需要 可用性好 可用性是服务型应用中最重要的因素，是评价和衡量系统的一个重要指标 能够为用户提供不间断的服务，由于系统中包括了多个结点，当一个结点出现故障的时候，整个系统仍然能够继续为用户提供服务
机群服务器的优势（续） 性能价格比 资源可充分利用 和传统的大型主机和MPP机器相比，具有很大的价格优势，而且具有相当的性能 机群服务器的每个结点都是相对独立的机器，当这些机器不提供服务或者不需要使用的时候，仍然能够被充分利用。而大型主机上更新下来的配件就难以被重新利用了。
高性能服务器技术
单一系统映像 单一系统映像是建立在计算机软件和硬件之上，使得系统中的多台计算机看起来就如同一台通常的计算机的抽象表示 单一系统映像使用机群系统对于用户、应用和网络都表现地如同单台计算机一样 如果不支持单一系统映像的机群系统就不成为真正的机群系统 单一系统映像简化了系统管理，提供了对系统资源的透明访问
可扩展性 机群系统所具有的良好的可扩展性是SMP类型的服务器所无法比拟的 对于信息服务而言，机群结构符合投资的方法，能够随着资金的不断注入而逐渐地扩大系统 良好可扩展性为应付服务中的突发性事件提供了机遇，比如Web服务中出现访问高峰，机群系统能够很快地加入新结点以提高整个系统的能力 目前，高速网络的发展为机群系统的扩展提供了技术保证（Myrinet和千兆以太网）
可扩展性 与 单一系统映像
机群文件系统 透明的全局文件系统，用户和应用可以透明地访问机群文件系统中的数据，而无需关心这些数据的实际存储位置 文件系统的元数据和文件数据分布在机群系统中，消除在集中式系统中的存储瓶颈 支持文件系统级的单一系统映像 根据文件系统的访问记录，重新分布文件数据，从而平衡负载 在机群系统中构建全局统一的文件缓存，集中了内存缓存和磁盘缓存
高可用性 高可用性的要求是目前许多服务型应用的关键 机群结构本身就具有了容错的特性，当机群系统中的某个结点发生错误之后，整个系统可以继续提供服务，从而保证服务的连续性 可管理性 易用性 灵活性
高可用性
高性能服务器的应用
Internet服务 Web服务器机群系统已经成为目前诸多网站的主流平台 Email服务器，FTP服务器等的机群系统也广泛地应用在Internet中 机群系统适应Internet的访问量大，请求突发性强的特点，能够提供可靠的、高效的事务处理能力
海量信息存储 使用机群系统进行数据的存储和管理 对于存储的数据在不同的机群结点上进行复制，从而提高了数据的可靠性 硬盘容量的不断增长，价格则不断下降，从而每个机群结点的存储容量可以到达几百G，甚至可以到达T级。使用机群系统，可以构建几十到几百T的海量存储系统 采用多级的存储结构，如可靠内存、磁盘缓存，以提高海量信息存储的性能
数字图书馆 Web服务器机群系统为数字图书馆提供了Internet的访问界面 基于机群结构的海量存储系统，为数字图书馆的数据提供了高性能、高可用的空间 基于机群结构的高性能计算机可以为数字图书馆的数据提供并行处理，如并行的汉字识别，图像处理和压缩，文件索引等 采用机群服务器来进行相关的用户管理和文档管理服务
电子商务平台 高性能的Web机群服务器，发布商务信息，构成了信息发布平台 高性能的数据库服务器，存储交易和商品信息，构成了电子交易平台
清华同方探索108
探索108机群系统 同方教育网站平台 信息安全处理 气候模拟与天气预报 石油勘探
探索108的硬件平台 P-III CPU 内存 网卡 交换机 网络 8个结点（双PIII处理器） 高速交换网络
探索108在网站平台上的应用 网络访问流量大，访问突发性高，网站的设计需要采用可扩展的，高性能的软硬件平台的解决方案 使用探索108机群系统作为Web服务器，具有可靠性高，事务处理能力强，易于管理和维护等特点 采用探索系列的机群服务器产品还可以提供防火墙服务、高可用数据库服务等
探索108在网站平台上的应用
探索108应用为并行Web服务器
并行Web服务器的硬件组成 路由器 Internet Internet FTP BBS 请求分配器 WWW 路由器 FTP BBS DNS Mail
并行Web服务器的软件组成
并行Web服务器的分配器 Internet Response! Request? TH-ParaWeb服务器 10.0.0.91 请求分配器 10.0.0.92 166.111.68.131 10.0.0.93
可扩展的机群文件系统 服务器1 服务器2 服务器3 服务器4 /Global
并行Web服务器的信息搜集 Internet 搜集结果 输入请求 网络上的检索系统 和搜索引擎 网络下载工具 局部数据库 搜索引擎 结果索取器 搜集结果选择器 搜集结果 输入请求
并行Web服务器的信息检索 结点 #1 检索模块 本地 管理 模块 合作缓存 磁盘 结点 #2 检索模块 本地 管理 模块 合作缓存 磁盘 网络 控制 全局管理模块 数据
并行Web服务器的高可用支持系统 LAN M D M D M D M D M 监视协调器 D 磁盘可用后台进程
并行Web服务器的高可用支持系统 R2 S1 R1 S2 R4 S3 R3 S4 正常工作时 1 2 global/ 3 4 请求分配表: 1,2,3,4 全局文件空间 正常工作时
并行Web服务器的高可用支持系统 结点1失效 S2 S3 S4 R1 R4 R3 全局文件空间 请求分配表: 2,3,4 global/
并行Web服务器的代理缓存系统 Internet Web服务器 客户机 Proxy服务器
信息安全处理系统的系统结构 外部网络出口 探索 108 仲裁机 交换机（内部高速网络） 监控终端
信息安全处理系统的处理流程 网 络 信 息 网 络 信 息 监 听 网 络 信 息 分 析 监控、报告 及后续处理 负载平衡
谢 谢 ！