核心系统数据库组 余锋http://yufeng.info @淘宝褚霸 2012-10-10 了解集群 核心系统数据库组 余锋http://yufeng.info @淘宝褚霸 2012-10-10.

Slides:



Advertisements
Similar presentations
走进社区、走进部门、走进农村 民进海宁市总支部. 民进海宁总支开展 “ 走进社区、走进部门、走进农村 ” 活动: 1 、为了积极履行民主党派的职能,搜集社情民意,为政府工作出谋划策。 2 、让民主党派走进群众,让群众了解民主党派。 3 、通过 “ 三走进 ” ,进行访贫问苦,搜集民情民声,构筑群众与政府的桥梁,
Advertisements

分享人:張益源. 個人資料介紹 姓名:張益源 畢業:體育系 97 級 專長:田徑、籃球、游泳 任教學校:慈濟大學實驗國民小學 學校職務:體育兼資訊老師.
定 格 入 格 破 格 —— 新诗仿写复习训练 仿照下列句子,再把 “ 人生 ” 比喻成 “ 大海 ”“ 天空 ” , 造两个句子。 如果说人生是一首优美的乐曲,那么痛苦则 是其中一个不可或缺的音符。 参考答案: 1 、如果说人生是一望无际的大海,那么挫折则 是其中一个骤然翻起的浪花。 2 、如果说人生是一片湛蓝的天空,那么失意则.
早自修課推動班級家長說故事及 經驗分享活動。 寒假親師生戶外參訪 ~ 原鄉文化、田園野趣學 習之旅 ~ 造訪鍾理和紀 念館、文學步道。親師生戶外參訪.
高级服务器设计和实现 1 —— 基础与进阶 余锋
一、老师申请题目,以下指导老 师操作。 1. 登录教务系统 web 端. 2. 点击 “ 毕业设计 ” 工具栏下拉菜单中的 “ 论文 _ 教师申请题目 ”
台北市立聯合醫院南軟門診部 皮膚科醫師簡介 溫素瑩醫師 學經歷: 中山醫學院醫學系畢業 台北醫學大學醫學資訊研究所碩士
职业教育网络学习空间建设的实践与思考 江苏省南京工程高等职业学校.
计算机网络课程总结 一、计算机网络基础 计算机网络定义和功能、基本组成 OSI/RM参考模型(各层的功能,相关概念, 模型中数据传输 等)
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
世新大學 校務行政e化進度報告 陳育亮
國有土地管理與運用問題之探討 主講人: 廖 蘇 隆 中華民國100年10月17 日.
研究計畫執行 & 計畫人員管理 注意事項說明 研發處研推組 董家鈞組長.
OpenStack开源虚拟化平台(三) 云计算 (第三版) 第 8 章 CLOUD COMPUTING Third Edition
教育雲端科技的現況與未來發展 臺北市政府教育局聘任督學 韓長澤.
Better文明,Better生活 初一五班.
第五章 各类园林绿地的规划设计.
防制學生藥物濫用 高雄市教育局校外分會 林永興教官.
第八章 网络课程的设计与开发.
淘宝核心系统资深专家 我为什么要选择RabbitMQ 淘宝核心系统资深专家
实用操作系统概念 张惠娟 副教授 1.
互联网时代班主任的挑战 万玮 2014年9月20日.
2009年 初夏 某天 我 一個人 一輛車 計劃 沒有計劃 只想 漫無目的 到處亂晃 感覺夏天的散漫.
班級:夜師資一甲 指導老師:蘇國榮老師 姓名:929201林佑蓉 石依縈 李玉玫 桂秀媛
妈妈我爱你 你总说我还不懂事 维护我像一张白纸 你眼中我永远是长不大的孩子 虽然我有好多心事 却已不愿说与你知 我曾任性地排斥你爱我的方式
企业级云计算 A Enterprise Cloud Serivce
苏州大汇信息科技有限公司 招聘简介.
国家高技术研究发展计划 香港大学网格节点 Presented by Cho-Li Wang
CDM Project Management Database Development
Cell organized Distributed File Storage
Information & Security System in China China North Eastern Air Traffic Control Bureau (CAAC) Customer Background Subsidiary of General Administration of.
Alibaba 数据库高可用架构 Alibaba
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
作業系統 補充: 雲端運算.
核心系统数据库组 余锋 了解内存 核心系统数据库组 余锋
鄉村尋根-農具篇.
中国科学技术大学 肖 明 军 《网络信息安全》 中国科学技术大学 肖 明 军
國立屏東高級工業職業學校 雲端網路及 雲端開系統介紹
从现在做起 彻底改变你自己 Sanjay Mirchandani EMC公司高级副总裁、首席信息官.
Cloud (AWS) 產品放置 ex.巴士, 球場, 旅館 …. 客戶需求SW模組化 1.客製化需求 2.Web技術
存储系统.
大学计算机基础 典型案例之一 构建FPT服务器.
SVN服务器的搭建(Windows) 柳峰
管理信息结构SMI.
Jul 2014 HEAT部署Hadoop集群
基于OpenStack的散裂中子源计算环境概述 —CSNS私有云环境现状
第11章:一些著名开源软件介绍 第12章:服务安装和配置 本章教学目标: 了解当前一些应用最广泛的开源软件项目 搭建一个网站服务器
大数据管理技术 --NoSQL数据库 HBase 陈 辉 大数据分析技术.
Visual Studio Team System 简介
淺談雲端運算 (Cloud Computing)
淘宝核心系统资深专家 (v0.1) MySQL云平台和Erlang实现 淘宝核心系统资深专家 (v0.1)
PaPaPa项目架构 By:Listen 我在这.
CPU结构和功能.
实习前你需要知道的 PRESENTED BY Yisa.
解决变化问题的自底向上 流程建模方法 严志民 徐玮.
K/3 Cloud V6.0产品培训 -- 业务监控 K/3 Cloud 产品部
飯店業的介紹.
K/3 Cloud V6.1产品培训 -- 业务监控 K/3 Cloud 产品部
Cassandra应用及高性能客户端 董亚军 来自Newegg-NESC.
IT 安全 第 9节 通信和网络控制.
JSP实用教程 清华大学出版社 第2章 JSP运行环境和开发环境 教学目标 教学重点 教学过程 2019年5月7日.
机械设备的完整性和可靠性管理 Maintenance integrity & reliability.
“修身成材” 班级干部培训班 黑龙江大学党委学工部.
保變住開發要點 資料來源:台北市政府都發局.
2009年 初夏 某天 我 一個人 一輛車 計劃 沒有計劃 只想 漫無目的 到處亂晃 感覺夏天的散漫 按鍵換頁--輕音樂欣賞.
雲端架構對企業外部管理與內部管理的改變.
Google的云计算 分布式锁服务Chubby.
雲端運算的技術趨勢與影響 資管四A 謝宗儒 A.
SMC服务.
2015年度中科院超级计算环境青岛分中心培训 中科院超算中心 中科院海洋所超算中心
Presentation transcript:

核心系统数据库组 余锋http://yufeng.info @淘宝褚霸 2012-10-10 了解集群 核心系统数据库组 余锋http://yufeng.info @淘宝褚霸 2012-10-10

集群初感 Cloud = "CPU + Storage + Queues + Management"         -The Amazon Web Services says essentially

集群类型 同构与异构 按功能和结构划分 区别在于组成集群系统的计算机之间的体系结构是否相同 高可用性集群 High-availability (HA) clusters 负载均衡集群 Load balancing clusters 高性能计算集群 High-performance (HPC) clusters 网格计算 Grid computing 来源:http://zh.wikipedia.org/wiki/%E8%AE%A1%E7%AE%97%E6%9C%BA%E9%9B%86%E7%BE%A4

集群典型例子 WEB服务器 聊天服务器 存储服务器 云计算平台

集群层次 通过层次消化复杂性,层越靠后业务越单纯 前端状态尽可能的推到后一层 后端功能单一、结构简单,性能和可靠性容易做到极致 性能不够,通常可引入cache层解决 三层是个好的选择 LAMP(Linux-Apache-MySQL-PHP)流行的启示

集群服务 不中断服务(公路的例子) 容量规划(高速公路5车道例子) 预警机制 (依据是什么) 流量调度/排队机制( 国庆高速公路不发卡例子) 降级服务 (高速绕行国道例子)

集群并发活动

集群规模 再小的事情乘以13亿人口都不是小事情 避免群体事件 配置管理 资源池调度 迅雷升级失败的例子

集群保障关键技术 流量切割 4层和7层 角色分工明确 名称服务 引入间接层 其他服务如全局锁的基础 数据冗余 故障隔离/恢复

集群可扩展性 scale out 还是 scale up 按照现实社会建模 分而治之 数据复制方式 强同步 replica

单点问题 逻辑单点 单一视图简化系统模型 物理单点  潜在风险点,尽量消除 候补队员

集群通讯 网络通信问题 丢包延时/带宽问题 可靠通信 防火墙友好 消息队列(MQ) 网络风暴

集群开发 系统实现足够简单清晰 开发效率/运行效率/维护效率方面的考虑 平台和工具方面的考虑 高并发带来的风险

技术选择 采用成熟主流的技术 复用工业强度的部件,避免造轮子 Massive adoption leads to massive investment. Massive investment leads to better tools, better and faster VMs. 复用工业强度的部件,避免造轮子

稳定性和容灾 高可用,为失效设计 watchdog/heartbeat系统 failover/takeover机制 硬件/软件都会失效 节点自我保护(拒绝服务/服务降级) 处处维稳 (非典期间人员监控的例子) watchdog/heartbeat系统 failover/takeover机制

可维护性 系统健康检查 双集群保证平滑切换(公路修理例子) 系统升级/热部署 节点添加/退出

问题定位 为诊断而开发 日志/收集分析融入到集群 监控系统 主动诊断工具 事后审计(超速例子) 信息尽可能的能自描述所做的事情 snmp协议/web portal 图形说话 主动诊断工具 系统环境随着时间在变化 事后审计(超速例子)

提问时间 谢谢大家!