核心系统数据库组 褚霸 http://blog.yufeng.info 2011-12-23 MySQL和IO(下) 核心系统数据库组 褚霸 http://blog.yufeng.info 2011-12-23.

Slides:



Advertisements
Similar presentations
定 格 入 格 破 格 —— 新诗仿写复习训练 仿照下列句子,再把 “ 人生 ” 比喻成 “ 大海 ”“ 天空 ” , 造两个句子。 如果说人生是一首优美的乐曲,那么痛苦则 是其中一个不可或缺的音符。 参考答案: 1 、如果说人生是一望无际的大海,那么挫折则 是其中一个骤然翻起的浪花。 2 、如果说人生是一片湛蓝的天空,那么失意则.
Advertisements

高中新课程思想政治(必 修 1 、 2 )的教学体会 北京师大二附中 李文燕 2008 年西城新课程教师培训的讲稿.
教师队伍建设 组员:王英利 赵香媖 侯娟. 主讲内容 2. 中小学教师队伍建设 1. 职业教育师资队伍建设国际比较 3. 高校教师队伍建设与管理.
《饲料分析与质量检测技术》 说课 主讲教师:管建慧. 课程名称: 《饲料分析与饲料质量检测技术 》 课程编码:
组长:倪运超 小组成员:徐悦、曹吕卿、孙浩、徐圣尧.  上海的历史 上海的历史  上海的历史 上海的历史  上海的文化 —— 建筑 上海的文化 —— 建筑  上海的文化 —— 美食 上海的文化 —— 美食  香港的历史 香港的历史  香港的历史 香港的历史  香港的文化 —— 建筑 香港的文化.
病历书写 中山医院呼吸科 张 新. 定 义 病历是临床医生根据问诊、体格检查、实验 室和其他检查获得的资料经过归纳、分析、整理, 按照规定的格式而写成的;是关于病人发病情况, 病情发展变化,转归和诊疗情况的系统记录。 病历是临床医生根据问诊、体格检查、实验 室和其他检查获得的资料经过归纳、分析、整理,
第十二章 病历书写与要求 病历病历 医务人员在医疗中形成的文字、符号、图表、 影像、切片等资料的总和。 病历书写 通过诊法、诊断、治疗、护理等医疗活动获得有关资 料,进行归纳、分析、整理形成医疗活动记录行为。 病历意义 A 诊疗等的源文件; B 复 / 转 / 会诊,解决医疗纠纷、判定法律责任、医疗保险等的资料和依据;
高级服务器设计和实现 1 —— 基础与进阶 余锋
一、 突出解析几何复习中的重点问题的通法通解 解析几何中的重点问题 一、 突出解析几何复习中的重点问题的通法通解 直线与圆锥曲线的位置关系 重点一.
2009/12/211 商務科技管理系 實 務 專 題 報 告 辦桌非難事 學生: 施雅雯 ( ) 張敬芝 ( ) 葉明臻 ( ) 黃怡琅 ( )
提 纲 三次考察与改革的回顾 1 学院三周来的新面貌 及下一步工作思路 2 凝心聚力、团结协作、狠抓落实 3.
——以通渭县图书馆青树小项目“携老上网游”为例
第十三章 中国的传统科学技术 中国古代的科技曾经长期处于世界领先地位,对人类文明的进步作出过重要贡献,并形成了富有特色的科技文化。在今天,源自中国古代科技文化的中医学仍然在现实生活中发挥着积极的作用。
成语乐园 成语乐园 执教老师:李道梅.
Bennett Hong For 2012华东架构师大会 Nov 18,2012
计算机网络课程总结 一、计算机网络基础 计算机网络定义和功能、基本组成 OSI/RM参考模型(各层的功能,相关概念, 模型中数据传输 等)
司法体制改革与律师执业前景瞻望 黄太云
詹天佑.
硫化氢中毒及预防 硫化氢的特性与危害 硫化氢(H2S)是无色气体,有特殊的臭味(臭蛋味),易溶于水;比重比空气大,易积聚在通风不良的城市污水管道、窨井、化粪池、污水池、纸浆池以及其他各类发酵池和蔬菜腌制池等低洼处。 硫化氢属窒息性气体,是一种强烈的神经毒物。硫化氢浓度在0.4毫克/立方米时,人能明显嗅到硫化氢的臭味;70~150毫克/立方米时,吸入数分钟即发生嗅觉疲痨而闻不到臭味,浓度越高嗅觉疲劳越快,越容易使人丧失警惕;超过760毫克/立方米时,短时间内即可发生肺气肿、支气管炎、肺炎,可能引起生命危险;
北师大版义务教育课程标准实验教科书 七年级上册讲义 第17课 先进的科学技术.
2013浙江省行测专题 密卷解析及备考冲刺 罗 姮.
MySQL数据库服务介绍 2013 年 6 月.
2013华东数据库技术大会 人人网的SNS数据库架构与设计艺术 周彦伟
立體四子棋 研究成員:謝旻諺、 鄭家鈞 指導老師:林屏森老師.
“三步式”网络学习法 《探究与发现》数学网络学习平台介绍
雄伟的金字塔.
第二章 项目一:企业厂区与车间平面设计 1.
初中思想品德 规范的教学设计与案例分析.
2013华东数据库技术大会 MySQL5.6版InnoDB引擎深入剖析 演讲嘉宾:何登成
三創產業學程 學群主持人:袁國榮召集人.
淘宝 商品库MySQL优化实践 QCon 2011 Beijing
台灣的名勝古蹟.
第五章 关税法 王小宁教授 三峡大学经济与管理学院.
实用操作系统概念 张惠娟 副教授 1.
第三章 心理安全 广西师范大学 罗蕾.
第8章 机床操作 主讲:臧红彬 博士.
时间管理 -----高一团体辅导.
台灣史總複習.
再生能源簡介.
柯和平 研究员 深圳职业技术学院 教育技术与信息中心
《体育与健康》说课稿 课题:新兴体育舞蹈 —踢踏舞教学 北师大泉州附中 陈玉慈.
國文報告 儒家生死文化討論 不死鳥 組員 972BP001 彭科強 972BP008 王薪榕 972BP025 彭裕宗
开 学 第 一 课 六年级3班.
淘宝 商品库MySQL优化实践 QCon 2011 Beijing
淘宝核心系统数据库组 褚霸 /06/25 大话SSD 淘宝核心系统数据库组 褚霸 /06/25.
Kvm异步缺页中断 浙江大学计算机体系结构实验室 徐浩.
淘宝核心系统数据库组 余锋 利用新硬件提升数据库性能 淘宝核心系统数据库组 余锋
核心系统数据库组 余锋 了解内存 核心系统数据库组 余锋
Pure Storage設備 雲端桌面系統 評估測試與經驗分享
信息存储与管理 国家天文台 (科技处)信息与计算中心.
浅谈MySql索引及锁的应用 厦门大学数据库实验室 刘颖杰 2014年3月8日.
存储系统.
数据挖掘工具性能比较.
PaPaPa项目架构 By:Listen 我在这.
CPU结构和功能.
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
宁波市高校慕课联盟课程 与 进行交互 Linux 系统管理.
性能的秘诀 chrome插件支持推送.
内容摘要 ■ 课程概述 ■ 教学安排 ■ 什么是操作系统? ■ 为什么学习操作系统? ■ 如何学习操作系统? ■ 操作系统实例
微机系统的组成.
海信HS-E912 建议零售价格:699元 上市时间:2013年 3 月
教網單一入口請假系統操作步驟 人事室.
核心系统数据库组 了解应用服务器 核心系统数据库组
本节内容 文件系统 视频提供:昆山爱达人信息技术有限公司 官网地址: 联系QQ: QQ交流群 : 联系电话:
宝 贝.
临界区问题的硬件指令解决方案 (Synchronization Hardware)
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
指數、對數函數 數101乙 周文翔 朱哲明 張良聿.
李商隐诗两首 锦 瑟 马 嵬 夕阳无限好,只是尽黄昏。.
Presentation transcript:

核心系统数据库组 褚霸 http://blog.yufeng.info 2011-12-23 MySQL和IO(下) 核心系统数据库组 褚霸 http://blog.yufeng.info 2011-12-23

提纲 硬件 操作系统 InnoDB引擎 MySQL Flash存储设备选择 讨论时间

大话硬件 新硬件趋向并行化 软件需要提高并行度

CPU和大内存 NUMA架构 更大的独立L1,L2和共享的L3 大内存管理开销 趋势整合IO控制器 计算力过剩问题 CPU 直连内存 缓存践踏 大内存管理开销 大页 趋势整合IO控制器 计算力过剩问题

Raid卡 Raid卡喜爱大负载 条带和多盘 内置缓存 WB 还是 WT 读写缓存比例 预读 BBU放电问题 逻辑卷 分类不同用途的磁盘

PCIe Flash卡和SSD Flash设备不担心并发IO请求 中断亲缘和平衡问题 供应商和产品特点 NCQ IOPS多剩问题 对应用的影响 供应商和产品特点 Fusionio Virident 华为等国内厂商

大话操作系统 操作系统不应该再是黑盒子 追新无罪

内核 RHEL 5U4 还是 6U1? 超大2M页面 页面回写per设备 页面回收split lru

文件系统 ext3 和 xfs mount选项 预读 数据根据底层设备智能对对齐,对SSD友好 单个文件可并行dio 更快的文件追加操作 更少的锁冲突 mount选项 nobarrier data=ordered,writeback 预读 真的有用吗?

页面缓存 vm.swappiness=0 vm.dirty* vm.pagecache posix_fadvise清理buffered io引起的垃圾页面 sync_file_range强制页面回写 fsync天花板 如何计算,测量

块设备 队列调度算法 Flashcache 软raid deadline或者noop cfq害人不浅,顺序变离散 请求队列长度和latency Flashcache 担心uncached IO 以2M大小的set为单位进行脏页回写 dev.flashcache.skip_seq_thresh_kb 软raid 开销不大,整合设备

大话InnoDB引擎 InnoDB 又一个操作系统 各种微调

引擎如何工作 引擎核心部件 和操作系统职能冲突 如何调优 库,表,行,列,事务概念,各种统计实现 核心数据结构Btree 内存管理, buffer和page 逻辑文件空间管理,IO线程池管理读写请求,同步和异步 Cache淘汰,回写 和操作系统职能冲突 谁更明白用户的需求 如何调优 BP是核心

大话MySQL MySQL架构 网卡 网络层太老,HS这样的新架构出现。 SQL层和存储层分离,层间数据变换开销大。 锁开销太大。 对NUMA架构不友好。 网卡 网络也是特殊的IO。 担心你的千M网卡跑满。 网络丢包重传问题(thin tcp)。

Flash存储设备选择 用途划分 优缺点 对未来SSD方案的展望 读密集:SSD+Raid 写密集:Fio(+Flashcache) 成本和性能 对未来SSD方案的展望 设备层次无论如何都会存在,Cache不会灭亡。 更快的存储介质如PCM会很快出现。 系统架构和数据结构需要有大的突破,传统数据库系统需要跟进。

谢谢大家 讨论时间~