数据库产品选型与主机选型的艺术 2013 年 5 月 2013 华东数据库技术大会 金 官
数据存储产品 选型 数据存储产品的综合分类 数据存储产品的应用场景 数据存储产品选型的艺术 存储主机选型 应用案例 问 & 答
数据存储产品的综合分类 数据存储产品的应用场景 数据存储产品选型的艺术
集中式关系型数据库 分布式关系型数据库 内存关系型数据库 非关系型 “ 数据库 ”
集中式关系型数据库 甲骨文公司出品: Oracle 、 MySQL (非 NDB 引擎) 微软公司出品: Microsoft SQL Server 简称 MSSQL 或 SQLServer IBM 公司出品: DB2 SAP 公司出品: Sybase …………
内存关系型数据库 MySQL+MEMORY 存储引擎 甲骨文出品: MySQL Cluster 、 TimesTen SAP 公司出品 : HANA McObject 公司出品: eXtremeDB ……..
非关系型数据库 Hadoop/HBase MemCache/Redis MongoDB Cassandra LevelDB ……..
OLAP 数据分析型的业务场景 结构化数据 - 天睿公司出品 GreenPlum Teradata Sybase IQ ……………
OLAP 数据分析型的业务场景 非结构化数据 Hadoop/Hbase GreenPlum Sybase IQ Infobright InfiniDB …………..
企业的技术实力与研发资源 企业的规模与业务运作模式 企业的时间与 TCO 平衡 开源产品不 “ 省心 ” ,商业产品不 “ 省钱 “ 小结 寻找一款企业有能力掌控,适合企业 80% 业务场 景和业务运作模式的数据库产品(注:企业数据库产 品种类不要超过 3 种)
X86 VS 小型机 CPU 闪存卡与机械硬盘
X86 VS 小型机
CPU CPU : MySQL 非 MySQL5.6 或同类产品版本,推荐 CPU 配置为普通 4 核 ×2 CPU : Oracle 对 CPU 利用率更佳,则可以针对业务的类型,配置性 能优越和核数更高的 CPU 产品,可以降低 License 费用
闪存卡与机械硬盘 闪存卡 + 2 块普通机械硬盘 RAID1 运行操作系统
TB 级数据分析型业务场景 TB 级 B2C 电商业务场景 GB 级 MMO/MMORPG/WebGame 0.5TB 级社交游戏 TB 级新闻网站 TB 级论坛
TB 级数据分析型业务场景 CPU 的运算能力要强,要重视浮点运算能力 24 盘位 15K SAS 硬做 RAID5 , 2 块小盘 RAID1 安装操作系统 数据分析业务场景往往内存配置要足够大, 96G 及以上 结构化的数据,推荐考虑 PostgreSQL 或 GreenPlum 非结构化的数据,推荐 Infobright 或 InfiniDB 或 GreenPlum
TB 级 B2C 电商业务场景 静态化数据集中存储与数据库级的缓存 动态化数据单独存储且主机高 IO 能力 订单数据拆分存储,历史与当下 大促销分时段分品种,降低技术要求 尽量不要考虑: 所谓的分布式数据库架构 数据库级的读写分类
GB 级 MMO/MMORPG/WebGame 数据库服务器部署分离 国产配置较高的主机集中部署数据库 用户 ID 路由法,降低合服和开服的成本
0.5TB 级社交游戏 写密集型业务,分散写压力 增加写缓存,异步数据同步数据库 增加数据库中间件,进行写合并操作
TB 级新闻网站 新闻内容主体与评论、计数等数据分离存储 新闻内容主体借助 PCI-e 卡存储增速 强大的编辑与审核团队,读新闻主体备库为主 评论内容可以适当地进行数据拆分架构 计数的数据,缓存延后一定时间长度再更新 新闻内容和评论内容采用大容量的 X86 主机
TB 级论坛 用户信息及好友关系独立存储 帖子内容存储做冷热数据拆分 统计信息独立于用户信息和帖子数据之外 热数据放 PCI-e 卡上,冷数据放机械硬盘上
存在即合理,没有好与坏,只有好与更好 成熟、稳定且有行业成功案例的数据存储产品 有足够知识储备的数据存储产品 数据存储产品的用户量和技术水准达到一定级别 “ 省即是花 ” :一味追求主机单价低 “ 花就是省 ” :配置得当,追求主机处理能力强
2013 年 11 月 16 日于上海举办华东架构师大会 已确定的架构师大会主题及演讲嘉宾 去哪儿 唐娟 海量数据的搜集和实时分析架构设计与实践 江游科技 时继江 网络游戏一键开服的架构设计与实践 金山网络 毛剑 异构数据库的实时数据同步架构设计 会议网址:
联 系 人(一):会议组织者 姓 名:金 官 丁 联系电话: 邮箱地址: 即时通信: ( QQ (新浪微博) 联 系 人(二):会议秘书 姓 名:朱 颖 丹 联系电话: 邮箱地址: 即时通信: ( QQ 戆小囡猪猪(新浪微博)
感谢您的一路相随,我们一起携手走向未来!