IDB-阿里集团数据库服务平台 叶正盛（斗佛） 2013-07.

Presentation on theme: "IDB-阿里集团数据库服务平台 叶正盛（斗佛） 2013-07."— Presentation transcript:

1 iDB-阿里集团数据库服务平台 叶正盛（斗佛）

2 About me 姓名：叶正盛(斗佛) 2010加入阿里巴巴，数据库技术专家，负责阿里集团数据库工具开发 新浪微博：@yzsind-叶正盛

3 Agenda iDB是什么 为什么要开发iDB iDB功能及架构 讨论

4 iDB是什么 阿里集团数据库服务平台 专注于解决数据库项目研发效率、数据安全、数据质量问题
提供数据查询、订正、导出、同步，项目表结构设计、发布、SQL审核等与数据库有关的功能 iDB的面向集团内部所有员工，主要是技术同学，包括研发、QA、DBA、PD等

5 工作效率与数据安全 开发人员有数据库权限？ 只有DBA有数据库权限？ 敏感数据？

6 表结构设计规范 命名规范 数据类型规范 索引规范 存储引擎规范 字符集规范 主键、外键、约束规范 备注

7 规范——字段命名 CREATE_TIME CREATE_DATE CREATE_DATETIME CREATE_TIMESTAMP
INSERT_TIME ADD_TIME CJ_SJ

8 规范——表设计 MYISAM，INNODB存储引擎 GBK、UTF8、ISO 字符集 SEQUENCE 索引 外键 约束

9 变更发布 多套环境 生产发布

10 SQL审核？ 重复索引 SQL注入风险 变更SQL识别 索引推荐
Create index idx_mid(member_id) on order Create index idx_mid_status(member_id,status) on order Create index idx_mid_create_date_status(member_id,create_date,status) on order SQL注入风险 变更SQL识别 索引推荐

11 数据订正 SQL写错 没有备份 字符集 审批流程 忘记加where条件
Update t set amount=0 and price is null 更新大量记录 没有备份 字符集 审批流程

12 去IOE给iDB带来新的挑战 1.几万个库，几百万的笔，如何快速检索到表 2.如何查询分库分表的数据 3.批量表结构设计、变更、发布

13 为什么要开发iDB?

14 数据库项目研发服务 可视化表结构设计 开发测试环境变更 SQL审核 生产环境发布 变通影响分析及通知

15 数据访问服务 全网元数据检索 数据查询 数据订正 数据导出 数据同步

16 基础数据 实例 产品线——应用 库 用户 表 负责人 字段 索引

17 基础组件 SQL解析 全局连接池 安全审计 任务调度平台 消息通知

18 iDB应用架构总览 iDB工作中心 数据库项目研发服务 数据访问服务 基础数据 表结构可视化设计 全网元数据检索 实例 Owner
开发测试环境变更 数据查询 库 产品线 SQL审核 数据订正 表 用户 生产环境发布 数据导出 字段 变通影响分析及通知 数据同步 索引 基础组件 任务调度平台 SQL解析器 全局连接池 消息通知 安全审计

19 谢谢！