iDB-阿里集团数据库服务平台 叶正盛(斗佛) 2013-07
About me 姓名:叶正盛(斗佛) 2010加入阿里巴巴,数据库技术专家,负责阿里集团数据库工具开发 新浪微博:@yzsind-叶正盛 http://blog.csdn.net/yzsind
Agenda iDB是什么 为什么要开发iDB iDB功能及架构 讨论
iDB是什么 阿里集团数据库服务平台 专注于解决数据库项目研发效率、数据安全、数据质量问题 提供数据查询、订正、导出、同步,项目表结构设计、发布、SQL审核等与数据库有关的功能 iDB的面向集团内部所有员工,主要是技术同学,包括研发、QA、DBA、PD等
工作效率与数据安全 开发人员有数据库权限? 只有DBA有数据库权限? 敏感数据?
表结构设计规范 命名规范 数据类型规范 索引规范 存储引擎规范 字符集规范 主键、外键、约束规范 备注
规范——字段命名 CREATE_TIME CREATE_DATE CREATE_DATETIME CREATE_TIMESTAMP INSERT_TIME ADD_TIME CJ_SJ
规范——表设计 MYISAM,INNODB存储引擎 GBK、UTF8、ISO-8859-1字符集 SEQUENCE 索引 外键 约束
变更发布 多套环境 生产发布
SQL审核? 重复索引 SQL注入风险 变更SQL识别 索引推荐 Create index idx_mid(member_id) on order Create index idx_mid_status(member_id,status) on order Create index idx_mid_create_date_status(member_id,create_date,status) on order SQL注入风险 变更SQL识别 索引推荐
数据订正 SQL写错 没有备份 字符集 审批流程 忘记加where条件 Update t set amount=0 and price is null 更新大量记录 没有备份 字符集 审批流程
去IOE给iDB带来新的挑战 1.几万个库,几百万的笔,如何快速检索到表 2.如何查询分库分表的数据 3.批量表结构设计、变更、发布
为什么要开发iDB?
数据库项目研发服务 可视化表结构设计 开发测试环境变更 SQL审核 生产环境发布 变通影响分析及通知
数据访问服务 全网元数据检索 数据查询 数据订正 数据导出 数据同步
基础数据 实例 产品线——应用 库 用户 表 负责人 字段 索引
基础组件 SQL解析 全局连接池 安全审计 任务调度平台 消息通知
iDB应用架构总览 iDB工作中心 数据库项目研发服务 数据访问服务 基础数据 表结构可视化设计 全网元数据检索 实例 Owner 开发测试环境变更 数据查询 库 产品线 SQL审核 数据订正 表 用户 生产环境发布 数据导出 字段 变通影响分析及通知 数据同步 索引 基础组件 任务调度平台 SQL解析器 全局连接池 消息通知 安全审计
谢谢!