Jacky @ Alibaba www.HelloDBA.net 数据库高可用架构 Jacky @ Alibaba www.HelloDBA.net.

Slides:



Advertisements
Similar presentations
電子計算機中心 102 學年度 9 月份中心會議 時 間: 地 點:中心會議室.
Advertisements

退休規劃之應用與實例討論退休規劃之應用與實例討論 誠心誠意 從聽做起. 長壽的趨勢 有人說生是偶然、意外也是偶然 但是老是必然 ……….. 您同意嗎 ? 又有人說老一點都不可怕,病也不可怕 老又病也不可怕 但是 …… 又老又病又沒錢才可怕 所以一定要規劃退休養老、投資理財.
海洋教育:教科書、教師與教學 第七至十章導讀 宏仁國中 林珮瑜
参加全国骨干科技辅导员培训班汇报讲座 主讲: 长安镇乌沙小学张杰志 2008年1月7日 长安中心小学.
数据库原理 彭煜玮 计算机学院 珞珈图腾数据库实验室.
分布式系统 Distributed Systems 第 13 讲 NoSQL Lecture 13 NoSQL
互联网金融之金融数据挖掘 邹永杰 江西财经大学金融学院.
分布式系统 Distributed Systems 第 12 讲 “大型”网站架构设计 Lecture 12 Large Scale Website Architecture 王晓阳、张 奇 复旦大学 计算机科学技术学院.
第二章 微型计算机系统 第一节 基本术语和基本概念 第二节 计算机系统的基本构成 第三节 微机系统的硬件组成 第四节 微机系统的软件组成.
第2章 資料庫系統 2-1 資料庫環境的四大組成元件 2-2 ANSI/SPARC的三層資料庫系統架構
厦门大学数据库实验室 刘颖杰 2014年11月15日 实习总结报告 厦门大学数据库实验室 刘颖杰 2014年11月15日.
市场营销类流程化系列教材 市场营销综合实训 主编:渤海大学 单凤儒 教授 科学出版社.
第一章 地区电子政务发展案例(1) 地区(方)的概念:省/自治匹、市/州、县,相对中央、国务院 及各部委
MySQL数据库服务介绍 2013 年 6 月.
第八讲 基于Hadoop的数据仓库Hive (PPT版本号:2016年4月6日版本)
OpenStack开源虚拟化平台(三) 云计算 (第三版) 第 8 章 CLOUD COMPUTING Third Edition
“大云”大数据平台及应用 中国移动通信研究院 郭磊涛 2013年11月.
穆公(朱金清 微博:淘穆公 阿里HBase业务设计实践 穆公(朱金清 微博:淘穆公
阿里云计算开放平台与产品 阿里云-刘飞 2012年10月.
第二课 战国时期的 百家争鸣 呼伦贝尔学院附属中学:司顺英.
2013华东数据库技术大会 人人网的SNS数据库架构与设计艺术 周彦伟
Please delete this page before you present to customer
OceanBase 0.4:从API到SQL 日照
資料庫系統 曾俊雄.
分秒必争 医不停顿 联鼎软件医疗行业解决方案.
2013华东数据库技术大会 MySQL5.6版InnoDB引擎深入剖析 演讲嘉宾:何登成
TBSMGS数据存储管理软件 北京金信桥信息技术有限公司 2010年05月27日.
常优
11.3 国产大数据库技术 阿里巴巴OceanBase 云创存储数据立方(DataCube)
联想RISC to IA —IT基础架构优化解决方案
第6章 資料庫管理系統 6-1 關聯式資料庫管理系統 6-2 SQL Server資料庫管理系統
<<Oracle DBA工厂-Oracle从入门到精通>>全套视频教程(一)之 安装部署 讲师:黄利强 QQ:
MySQL主从同步
天涯运维的那些事 网络系统部.天涯.
Canal开源产品介绍 taobao.
Oracle WebLogic 数据库连接原理及案例探讨
58同城从MongoDB到MySQL迁移之路
                            Oracle 并行服务器介绍
學習共同體實施心得分享 新泰國中 報告者 張國振校長.
课程名称 黄杉 讲师的CSDN博客地址:
江西省专业技术人员 继续教育信息管理系统.
第6章 数据库技术 顾浩 胡乃静 董建寅等编著.
大数据在医疗行业的应用.
面向Web的Oracle应用 第19章 集群概述.
联想DSS并行存储 张莫穷, 联想HPC团队
十二生肖的故事.
NoSQL分布式数据库.
NEC Express5800 Fault Tolerant Server Introduction
厦门大学数据库实验室NoSQL系列学习之
分布式系统中的关键概念及Hadoop的起源、架构、搭建
kCloudStorage - 基于云技术的廉价冗余天文海量数据存储
組員:陳俊宇 陳典杰 趙俊閔 指導老師:張慶寶
面向高能所信息化系统的高可用数据库服务 王丽 计算中心 中科院高能所 第十八届全国科学计算与信息化会议.
淘宝核心系统数据库组 余锋 利用新硬件提升数据库性能 淘宝核心系统数据库组 余锋
Microsoft SQL Server 2000 李金双.
精通redis数据库开发、管理与优化 第1讲 什么是redis 讲师:黄锡峰.
Discover the power of SSL-VPN+ IT management
打造更高可靠的存储系统 IBM STG July 2007.
Flash数据管理 Zhou da
102學年度 4月份中心會議 時 間: 地 點:中心會議室.
An Introduction to Cloud RDBMS
大数据介绍及应用案例分享 2016年7月 华信咨询设计研究院有限公司.
天涯分布式数据库 云计算部.
雲端運算的基石(1) 虛擬化技術簡介
第一章 数 据 库 概 述 第一节 引言 第二节 数据库基本概念 第三节 数据库系统结构 第四节 数据模型 第五节 数据库管理系统
TurboDX架构、应用场景、比较优势 北京数贝软件科技有限公司
第11章 儲存裝置 與其管理.
ADX series Configuration
Redis
Presentation transcript:

Jacky @ Alibaba www.HelloDBA.net 数据库高可用架构 Jacky @ Alibaba www.HelloDBA.net

问题与挑战 集中式数据库成为系统瓶颈 数据库依赖高端硬件设备 小型机和高端存储 硬件可用性要求高 Scale up 数据库如何线性扩展(Scale out) 利用廉价设备搭建高可用数据库集群

CAP原理 Consistency:一致性 Availability:可用性 Partition tolerance:分区容错性   三者不可兼得 传统数据库(CA) ACID  原子性,一致性,隔离性,持久性 NoSQL产品(AP) BASE 基本可用,软状态,最终一致

Hardware HA Active/Standby High Availability Bad Scalability IBM hacmp   IBM hacmp HP serviceguard

Oracle Data Guard Primary服务,Standby只读(11g) 异步传送方式,可能导致数据丢失 失败切换需要人工干预 廉价的容灾方案

Oracle RAC 架构 Shared Disk Oracle Clusterware High Availability Scale out Load Balance  TAF

Oracle RAC 特点 应用透明 廉价的高可用方案 扩展能力有限 共享存储的扩展能力 节点间通信成本 DSS类型应用分析 可扩展特性 充分利用节点计算能力 降低节点间通信成本 OLTP类型应用分析 高可用特性 应用透明切换(TAF)

Oracle ASM

Oracle ASM 特点 具备整合多个存储设备的能力,解决存储的扩展问题 自动负载均衡,支持RAID 10 ASM替换裸设备 ACFS替换OCFS 所有的数据都可以放在ASM中 ASM是免费的

MySQL Replication Master + Slave(单向复制) Master + Master(双向复制) Dual master + heartbeat (HA) Slave可读写,比Oracle DG更灵活

MySQL Cluster 架构 Shared Nothing High Availability Scale out 

MySQL cluster 特点 完全分布式架构 高可用 可扩展 存储节点,处理节点和管理节点 内存存储引擎NDB 自动数据hash分布 高可用  可扩展 存储节点,处理节点和管理节点 内存存储引擎NDB 自动数据hash分布 数据自动冗余,防止单点故障 性能不理想 数据同步写多节点 数据按照PK Hash分布 UK需要根据PK访问两次 Join需要将数据读取至mysqld处理

技术发展趋势 硬件 Intel CPU vs IBM Power CPU多核化 Flash Cache / SSD PC server RAS特性增强 Reliability, Availability and Serviceability 软件 虚拟化 分布式 云计算

Oracle Exadata

Oracle Exadata

Oracle Exadata

Oracle Exadata 特性 功能 Smart Scan Smart Flash Cache Storage Index Hybrid Columnar Compressed 特点 廉价设备组成的BOX RAC整合计算能力 ASM整合存储能力 Infiniband高速互联网络 Flash cache作为二级Cache 同时支持DSS和OLTP应用 缺点:贵

读写分离架构-MySQL复制

读写分离架构-Oracle Active Standby

读写分离架构-DB+Memcache

Facebook MySQL+Memcache架构

读写分离架构分析 适合Read Intensive应用 数据库复制存在延迟 一致性的问题 一致性的问题  Read-your-writes consistency   Session consistency 数据库单机容量成为瓶颈,Sharding? Memcache crash = Disaster ?! 分布式Memcached集群 Consisitent hash

Consistent hash

Consistent hash

Sharding架构 BASE思想的产物 具备线性扩展能力 弱化关系型处理 DB = KV Store 分布式Hash算法 Hash(key) mod n Virtual Partition Hash

Virtual Partition Hash策略 根据mod计算hash分布的缺陷 节点变化时,所有数据需要重新分布 Virtual Partition hash策略 虚拟分区策略,预分区 物理节点包含多个虚拟分区 增加节点时,只需移动部分虚拟分区 每个节点都有备用节点 可根据压力状况灵活配置 Consistent hash策略的简化

Virtual Partition Hash策略

Virtual Partition Hash策略

分布式数据库 分布式数据库Proxy 应用透明 Query Parse Query Route Results Merge Load Balance   故障探测 Failover

数据库同步技术 为什么需要数据库同步 商业产品 构建多站点架构 数据库复制无法满足需要 Quest Shareplex Oracle Goldengate 

我们的解决方案 触发器方案 日志解析 数据打包传输 应用模型 我们可以做到更好 Oracle redo log MySQL binlog 数据库,文件,图片 应用模型 并行应用模型 如何保持事务一致 我们可以做到更好 解析SQL 灵活定义业务逻辑 提升处理能力

技术趋势 去I/O/E MySQL Sharding架构 DB + Memcached架构 FlashCache/SSD作为DB二级Cache MySQL Cluster 数据同步,多站点架构 廉价高可用数据库集群 Key-Value Store