数据库产品选型与主机选型的艺术 2013 年 5 月 2013 华东数据库技术大会 金 官

Presentation on theme: "数据库产品选型与主机选型的艺术 2013 年 5 月 2013 华东数据库技术大会 金 官"— Presentation transcript:

1 数据库产品选型与主机选型的艺术 2013 年 5 月 2013 华东数据库技术大会 金 官 丁 @mysqlops

2 数据存储产品 选型  数据存储产品的综合分类  数据存储产品的应用场景  数据存储产品选型的艺术 存储主机选型 应用案例 问 & 答

3  数据存储产品的综合分类  数据存储产品的应用场景  数据存储产品选型的艺术

4  集中式关系型数据库  分布式关系型数据库  内存关系型数据库  非关系型 “ 数据库 ”

5  集中式关系型数据库  甲骨文公司出品： Oracle 、 MySQL （非 NDB 引擎）  微软公司出品： Microsoft SQL Server 简称 MSSQL 或 SQLServer  IBM 公司出品： DB2  SAP 公司出品： Sybase  …………

6  内存关系型数据库  MySQL+MEMORY 存储引擎  甲骨文出品： MySQL Cluster 、 TimesTen  SAP 公司出品 ： HANA  McObject 公司出品： eXtremeDB  ……..

7  非关系型数据库  Hadoop/HBase  MemCache/Redis  MongoDB  Cassandra  LevelDB  ……..

8  OLAP 数据分析型的业务场景  结构化数据 - 天睿公司出品 GreenPlum Teradata Sybase IQ ……………

9  OLAP 数据分析型的业务场景  非结构化数据 Hadoop/Hbase GreenPlum Sybase IQ Infobright InfiniDB …………..

10  企业的技术实力与研发资源  企业的规模与业务运作模式  企业的时间与 TCO 平衡  开源产品不 “ 省心 ” ，商业产品不 “ 省钱 “  小结 寻找一款企业有能力掌控，适合企业 80% 业务场 景和业务运作模式的数据库产品（注：企业数据库产 品种类不要超过 3 种）

11  X86 VS 小型机  CPU  闪存卡与机械硬盘

12  X86 VS 小型机

13  CPU CPU ： MySQL 非 MySQL5.6 或同类产品版本，推荐 CPU 配置为普通 4 核 ×2 CPU ： Oracle 对 CPU 利用率更佳，则可以针对业务的类型，配置性 能优越和核数更高的 CPU 产品，可以降低 License 费用

14  闪存卡与机械硬盘 闪存卡 + 2 块普通机械硬盘 RAID1 运行操作系统

15  TB 级数据分析型业务场景  TB 级 B2C 电商业务场景  GB 级 MMO/MMORPG/WebGame  0.5TB 级社交游戏  TB 级新闻网站  TB 级论坛

16  TB 级数据分析型业务场景 CPU 的运算能力要强，要重视浮点运算能力 24 盘位 15K SAS 硬做 RAID5 ， 2 块小盘 RAID1 安装操作系统 数据分析业务场景往往内存配置要足够大， 96G 及以上 结构化的数据，推荐考虑 PostgreSQL 或 GreenPlum 非结构化的数据，推荐 Infobright 或 InfiniDB 或 GreenPlum

17  TB 级 B2C 电商业务场景 静态化数据集中存储与数据库级的缓存 动态化数据单独存储且主机高 IO 能力 订单数据拆分存储，历史与当下 大促销分时段分品种，降低技术要求 尽量不要考虑： 所谓的分布式数据库架构 数据库级的读写分类

18  GB 级 MMO/MMORPG/WebGame 数据库服务器部署分离 国产配置较高的主机集中部署数据库 用户 ID 路由法，降低合服和开服的成本

19  0.5TB 级社交游戏 写密集型业务，分散写压力 增加写缓存，异步数据同步数据库 增加数据库中间件，进行写合并操作

20  TB 级新闻网站 新闻内容主体与评论、计数等数据分离存储 新闻内容主体借助 PCI-e 卡存储增速 强大的编辑与审核团队，读新闻主体备库为主 评论内容可以适当地进行数据拆分架构 计数的数据，缓存延后一定时间长度再更新 新闻内容和评论内容采用大容量的 X86 主机

21  TB 级论坛 用户信息及好友关系独立存储 帖子内容存储做冷热数据拆分 统计信息独立于用户信息和帖子数据之外 热数据放 PCI-e 卡上，冷数据放机械硬盘上

22  存在即合理，没有好与坏，只有好与更好  成熟、稳定且有行业成功案例的数据存储产品  有足够知识储备的数据存储产品  数据存储产品的用户量和技术水准达到一定级别  “ 省即是花 ” ：一味追求主机单价低  “ 花就是省 ” ：配置得当，追求主机处理能力强

23 2013 年 11 月 16 日于上海举办华东架构师大会 已确定的架构师大会主题及演讲嘉宾  去哪儿 唐娟 海量数据的搜集和实时分析架构设计与实践  江游科技 时继江 网络游戏一键开服的架构设计与实践  金山网络 毛剑 异构数据库的实时数据同步架构设计 会议网址： http://atcc.mysqlops.com/ 新浪微博： @mysqlops http://atcc.mysqlops.com/ @mysqlops

24 联 系 人（一）：会议组织者  姓 名：金 官 丁  联系电话： 136 6166 8096  邮箱地址： mysqlops@sina.com mysqlops@sina.com  即时通信： 172010148 （ QQ ）， @mysqlops （新浪微博） 联 系 人（二）：会议秘书  姓 名：朱 颖 丹  联系电话： 136 5197 9898  邮箱地址： vera_zhuyd@163.com  即时通信： 378091820 （ QQ ）， @ 戆小囡猪猪（新浪微博）

25

26

27

28

29 感谢您的一路相随，我们一起携手走向未来！