恩墨科技 成就所托 www.eNMOU.com
海量数据库设计与原则 -数据库架构设计与性能优化实践 海量数据库设计与原则 -数据库架构设计与性能优化实践 盖国强 (eygle) 北京恩墨科技 Mobile:13911812803 MSN: eygle@hotmail.com Site : www.eygle.com Mail: eygle@eygle.com
Who am I 盖国强 北京恩墨科技有限公司 创始人 盖国强是国内第一个Oracle ACE及ACE总监 盖国强 北京恩墨科技有限公司 创始人 盖国强是国内第一个Oracle ACE及ACE总监 截至2010年已经出版了8本技术书籍，在国内拥有最广泛的读者群 国内最大技术论坛ITPUB的主要发起人之一 独家为甲骨文公司提供定制的“大师系列培训课程” 2006年中国十大杰出数据库工程师之一 2010年，他和张乐奕共同创建了旨在开展技术交流的中国Oracle用户组 （ACOUG – All China Oracle User Group），并开展了持续的公益活动
何谓海量数据库？
何谓海量数据库？ 海量的界定 1996 -> GB 2000 -> TB 2010 -> PB 10 PB 目前互联网所有归档数据量的两倍 Oracle Exadata 100 TB SAS or 336 TB SATA 5TB of flash storage 图片引自BackBlaze公司2011年1月数据
企业面对的数据现状 业务增长带来的压力提升 数据增长与访问性能下降 不断增长的存储与IO压力 扩展能力的瓶颈 将合适的技术应用到需要的领域
企业之道
了解系统:从关键应用开始 数据访问趋势
了解系统:从关键应用开始 关键业务操作
架构设计:了解数据访问频度 高频表的存储与优化
厂商之道
缓存为王:Default / Keep Cache Auto-tuned nK Buffer cache Default Keep Recycle F E Working set 1 Working set 2 B E D A C F F C … C A B D D A LRU CKPTs LRU CKPTs Buffer cache
缓存为王: Result/Flash Cache Result Cache 缓存查询结果 Server Result Cache Client Result Cache Flash Cache 二级缓存 作为内存的二级缓存 大量缩减物理I/O IMDB 内存数据库 Timesten – 十倍的性能提升 实时数据的快速处理
缓存为王：Flash Cache 支持 Extended Buffer Cache 4. User Process reads blocks from SGA (copied from Flash Cache if not in SGA) Extended Buffer Cache Hot Data Warm Data 16 GB SGA Memory 120 GB Flash Cache 3. Clean blocks moved to Flash Cache based on LRU* 1. Blocks read into buffer cache 2. Dirty blocks flushed to disk Cold Data 360 GB Magnetic Disks * Headers for Flash Cached blocks kept in SGA
技术之道
数据库的使命：读、写与展示
数据库的使命：读、写与展示
矛与盾的抉择：灵活性与性能
架构设计：分表、分区、分库
海量数据的设计原则 以用户体验为根本目标 基于对业务、数据库的深入理解，精确建模 设计线性可扩展、性能弱衰减的长效系统 线性理念推进到系统、业务分析阶段 通过限定，确保查询范围不扩大 通过确定的归档机制，定期、按规则将历史数据只读、分离和归档
最佳实践：降低CPU负载
最佳实践:用户体验的改善
最佳实践:查微与致远 Latch：Oracle用于控制内存并发的锁机制
最佳实践:以数据库的视角思考 Index II Index I Latch: Latch: Cache buffer lru chain Cache buffer chain cid status 1 Freea 2 Free 3 SQL-1 SQL-2 SQL-3 1 cid data 1 12 3 24 5 3 5 Latch: shared pool Latch: library cache 1 3 5 8
言 论 做减法，不但要懂技术，还要懂业务，风险还很高，一般人谁愿意干呢？ ---冯春培 言 论 做减法，不但要懂技术，还要懂业务，风险还很高，一般人谁愿意干呢？ ---冯春培 If not now? when?! If not me? who?! ---马 云 恩墨科技，致力于不断推进国内数据应用水平。 ---盖国强
恩墨科技 成就所托 www.eNMOU.com