MySQL异步复制延迟解决方案与运维架构

Slides:



Advertisements
Similar presentations
金融一班 王亚飞 王亚飞 王浩浩 王浩浩 吴海玥 吴海玥 我 连云港 的 家 乡 连云港 连云港,位于东经118°24′~119°48′和北纬 34°~35°07′之间,古称郁洲、海州,民国时称 连云市,建国后称新海连市,别称“港城”。东 西长129公里,南北宽约132公里,水域面积 平方公里。连云港市也是我国于1984年.
Advertisements

月經異常的原因及警訊 組員: 陳少康、張康樂、許晉愷、何曄、方泠瑩、張 顓麟、蘇梓喬、溫鵬皓、林雅雯.
方振镇 华东架构师大会. SNS 和 Web 游戏基本对比 SNS 游戏后台 Web 游戏后台 如何选择 问答.
数据库产品选型与主机选型的艺术 2013 年 5 月 2013 华东数据库技术大会 金 官
高级服务器设计和实现 1 —— 基础与进阶 余锋
說明事項  大陸交換學習近況  大陸姐妹校介紹  申請資格和程序  研究生補助 大陸交換學習近況 2009 年秋首次進行,計有 6 校共 20 位學生來校交換學習。 來校交換生.
2013 华东数据库技术大会致辞 2013 年 5 月 2013 华东数据库技术大会. 会议摘要信息 捐助规则 会议价值 会议制度 演讲嘉宾团队招募 志愿者团队招募 联系方式.
配备计算机教室、多媒体教室、图书室、卫生室、 实验室、仪器室、音体美劳器材室、心理咨询室、少先 队活动室、教师集体备课室等专用教室。实验室、仪器 室全部按照省标准配备器材,演示实验开设率达 100% 。 学校现有图书 6050 册,生均 40 册。有一个 200 米环形跑 道的运动场地。 学校基本情况.
103 年新北市環保知識擂台賽培育計畫 新北市政府環境保護局 大 綱 計畫緣起 計畫期程及內容 計畫分工及配合事項 討論 Q&A 2.
年終工作獎金 及考績獎金 法規與實務 苗栗縣政府人事處 副處長 陳 坤 榮 中華民國102年1月25日.
消失的吸管 隊名:吸管應該消失才隊.
長得像的圖形 設計者:嘉義縣興中國小 侯雪卿老師 分享者:高雄市中山國小 江民瑜老師 高雄市勝利國小 許嘉凌老師.
课例评析—— 《回乡偶书》和《渔歌子》 评课人:冯琴.
助學工作說明會 及 教育訓練.
就作文本身而言,题目堪称“眉目”,是作文的“眼睛”,从某种程度上说,它是作文材料和主题的浓缩或概括。
師資生修讀教育學程 重點提醒 師資培育暨就業輔導中心.
文化创新的途径.
第九课 第二框 建设社会主义精神文明.
文書檔案組Q&A 崇右技術學院 文書檔案組 Q & A 總務處.
Bennett Hong For 2012华东架构师大会 Nov 18,2012
公職人員財產信託簡介 第一銀行信託處 編製.
让我们撑起一把青春伞.
让 我 们 撑 起 一 把 青 春伞.
經分表聘用兼任助理流程 完成 新增/修改 經分表 計畫無聘任兼任助理(新增) 紙本送所屬單位審核 計畫聘任兼任助理(新增)
2009—2010学年第一学期 小学品德与社会课程教学监控情况分析 潘诗求 2010年3月
15世纪欧洲人绘制的世界地图.
未婚懷孕:你想清楚了嗎 瑞芳國中 林碧欣.
國科會經費報銷說明 報告人:陳秀合 分 機: 年11月 12日(一).
第7课 新航路的开辟 第7课 新航路的开辟.
畜牧類天然災害查報 及救助作業簡介 臺南市政府農業局畜產科 李東仁 臺南市政府農業局畜產科.
兒童及少年保護宣導 和興國小校長 吳柚 中華民國 100 年 8 月 31日 2008張淑慧.
股票、债券、和保险 投资理财的话题.
翟卫祥(花名:印风) 阿里巴巴数据库工程师 博客: 2013/7/13
消 息 制作教师:程焕新 湖北省黄冈高级技工学校.
电阻 新疆兵团四师76团中学.
財團法人台北市任兆璋修女林美智老師教育基金會
大 綱 國有財產之來源 國有財產之範圍 國有財產之種類 國有公用財產管理 使用原則 國有公用財產管理
外貌和能力哪个更重要.
从此,我不在沉默寡言 那一刻 就在这一刻 世上还有爸爸好 我 长 大 了 张绅 4 文苑芬芳
年終工作獎金 及考績獎金 法規與實務 苗栗縣政府人事處 副處長 陳 坤 榮 中華民國100年12月20日.
MySQL主从同步
--洲仔尾的鹼菜 與櫻桃鴨的結合-- 鴨賞的故事.
构建健壮的DNS系统 李孟 2013年5月18日 北京蓝汛通信技术有限责任公司.
----银行间的比较 论资本构成与充足率 淡 彩 的 黑 板 淡 彩 的 黑 板 金融73班 王艺霏 王 英
从容行走,优雅为师 江苏省梁丰高级中学 任小文
基于解释性语言的手机跨平台架构 Sloan Yi. Qt MTK.
第七單元 大眾運輸好方便 凡事小心才安全.
走向自立人生 自己的事情自己干 一、自立人生少年始. 走向自立人生 自己的事情自己干 一、自立人生少年始.
觀察內容: 時間 作息 觀察內容 9:30~9:40 角落分享
認識同志伴侶 劉安真 弘光科技大學通識教育中心助理教授.
前不久看到了这样一则报道:某个大学校园里,一个大学生出寝室要给室友留一张字条,告诉他钥匙放在哪里。可是“钥匙”两个字他不会写,就问了其他寝室的同学,问了好几个,谁也不会写,没办法,只好用“KEY”来代替了。 请大家就此事发表一下自己看法。
导入 21世纪教育网经纬社会思品工作室制作 我们可以通过哪些媒介(途径)获知这些消息?.
祖 父 母 節.
利用共同供應契約 辦理大量訂購流程說明.
MariaDB Spider分库分表引擎调研
面向高能所信息化系统的高可用数据库服务 王丽 计算中心 中科院高能所 第十八届全国科学计算与信息化会议.
MIDAS华南区第三届设计大赛 回执函(企业组)
NoteExpress进阶 宋敏 电子资源部
录制回放工具使用说明 鲁晓宇
学习中苦多?乐多? ——高二(1)班主题班会.
第八單元 清晨摸黑騎鐵馬 反光配件要加碼.
用牛顿环测量透镜的曲率半径 华中农业大学应用物理系 物理实验教学中心
Cassandra应用及高性能客户端 董亚军 来自Newegg-NESC.
兒童及少年保護、 家庭暴力及性侵害事件、 高風險家庭 宣導與通報
2011年版大學學系探索量表測驗結果說明 輔導室 楊欣翰老師.
公司企业介绍模板.
第13课 东汉的兴亡.
繁星推薦系統 楊曉婷 副理 教育的服務 是我們的責任.
03/03/2019 豐盛生命的呼召 楊知予長老.
單元主題名: 大家都是好朋友 設計者:柯淑惠、林雨欣.
Presentation transcript:

MySQL异步复制延迟解决方案与运维架构 2012华东架构师大会 MySQL异步复制延迟解决方案与运维架构 丁奇@淘宝

主要内容: MySQL主从同步基本流程 存在延迟的原因 官方的改进和局限 MySQL-Transfer 设计思路 应用场景和业务限制 引入MySQL-Transfer的MySQL数据库运维架构

MySQL主从同步基本流程 Master Slave

MySQL主从同步延迟原因 什么是延迟--2和6的时间间隔 为什么延迟: 2、5的文件更新通知?不是 3的网络延迟? 不是 1 为什么延迟: 2、5的文件更新通知?不是 3的网络延迟? 不是 4的写盘延迟? 不是 2 3 5 6 4 等等。。。1和2之间那个箭头怎么不画出来--我们不关心

MySQL主从同步延迟原因 延迟原因: 主库多线程并发更新 从库单线程串行更新 都是箭头,你咋这么苗条呢?

MySQL主从同步延迟原因

三秒钟变格格么。有那么好MySQL为什么不支持? 解决方案: 从库变成多线程更新 反问一句: 三秒钟变格格么。有那么好MySQL为什么不支持? 说胖就胖了啊。。。

语句顺序无法保证--insert和update调换有什么问题? MySQL主从同步延迟原因 直接多线程存在的问题: 语句顺序无法保证--insert和update调换有什么问题? 胖是有代价的

主要内容: MySQL主从同步基本流程 存在延迟的原因 官方的改进和局限 MySQL-Transfer 设计思路 应用场景和业务限制 引入MySQL-Transfer的MySQL数据库运维架构

MySQL5.6版本主从同步官方改进与局限 主要思路: 按库分线程 主要策略: 能并行的并行,不能并行的拉倒 存在问题:并行度

MySQL5.6版本主从同步官方改进与局限 关于并行度的讨论: 一般一个实例上有几个数据库? 跨数据库事务的处理 除了库级别,还有哪些级别? 为什么官方不支持更细粒度?

主要内容: MySQL主从同步基本流程 存在延迟的原因 官方的改进和局限 MySQL-Transfer 设计思路 应用场景和业务限制 引入MySQL-Transfer的MySQL数据库运维架构

MySQL-Transfer 设计思路 变个身

MySQL-Transfer 设计思路 回到刚才的一个问题 Transfer的使用前提: row-base binlog (why) 为什么官方不支持更细粒度? Transfer的使用前提: row-base binlog (why) pk or unique-key (why) 从库的 foreign-key check=off (why) slave_skip_errors=1062,1032 (why)

从此Master和Slave过着幸福的生活? 太naïve了。。。 MySQL主从同步解决方案 应该是解决了 从此Master和Slave过着幸福的生活? 太naïve了。。。 客户说: 说明:直接修改slave代码,风险比较大 不允许主角变身!

MySQL-Transfer 设计思路

MySQL主从同步解决方案

MySQL主从同步解决方案 MySQL-Transfer的两种模式 Slave模式 Transfer模式(备注:取名叫Transfer的原因) 使用Transfer模式新增的限制 主库单个语句的binlog不能超过1G (why) 从库上设置max_allowed_packet = 1G

效果对比 原始性能 Transfer方案性能

主要内容: MySQL主从同步基本流程 存在延迟的原因 官方的改进和局限 MySQL-Transfer 设计思路 应用场景和业务限制 引入MySQL-Transfer的MySQL数据库运维架构

引入MySQL-Transfer的MySQL运维架构 敬请关注multi-source

引入MySQL-Transfer的MySQL运维架构 循环写问题 解决方法 M/S小改 Binlog=off

小结 MySQL-Transfer是一个基于MySQL的patch 加速主从数据同步速度,减少/消除主从复制延迟 可以使用Slave模式或Transfer模式 行级并发、支持事务 使用时需要遵循一些限制

华东架构师大会的组委会添加信息 2012华东架构师大会感谢的协办单位和捐助个人: GTI And Virident 世纪互联 AdMaster的创始人洪倍 联想员工李鹏程 中国(上海)创业者公共实训基地 预告信息: 2013年5月18日,将于上海举办2013华东数据库技术大会 人数规模:500人 会务合作,联系人:金官丁,联系电话:136 6166 8096, 邮箱地址:mysqlops@sina.com,新浪微博:@mysqlops

Q&A