Download presentation
Presentation is loading. Please wait.
1
Donkey自助系统 TNT
2
01 背景 02 Inception介绍 CONTENT 03 审核执行SQL 04 回滚语句
3
1 PART ONE 背景
4
背景 数据订正 表结构不规范 任务来源多 人工校验 大量订正数据需求，时间碎片化，重复执行 主键不是int,bigint，没注释，字符集。。
QQ，邮件，如何审核 SQL太多，DBA眼睛看花，找不到语法错误
5
2 PART TWO Inception介绍
6
Inception功能 01.MySQL client 02.审核 03.执行 04.回滚
MySQL原生client封装， 完美兼容MySQL语法 更新数量限制，语义检查， DDL语句检查等 03.执行 04.回滚 DML执行，DDL执行 同步生成回滚语句
7
Inception架构
8
Inception使用方法 Username,password IP,port Check,execute
inception_magic_start; inception_magic_commit;
9
Inception使用方法
10
执行结果
11
执行结果
12
执行结果 字段 意义 值 ID SQL序号 1，2 stage 操作 CHECKED，EXECUTED errlevel 返回值
0 success，1 warning，2 failed errormessg 错误信息 #1 Execute(Warning, Code errno):warning messag SQL Sql语句 DML,DDL affected_rows 影响行数 10 sequence 备份功能有关 $$Inception_backup_information$$.opid_time: _715724_5 backup_db 备份库名 vcorder_m1_db_pajkdc_com_3308_vcorder SQLSHA1 HASH值 *3AD2B A6C7C8DCEF9E4FC3DFA184D71482
13
3 PART THREE 审核执行SQL
14
DML语句校验规则 1 2 3 INSERT UPDATE DELETE 1.表是否存在 2.列列表和值列表个数相同 3.列是否存在
4.同一个列不能出现多次 1.表是否存在 2.必须有where条件 3.不能有order by 4.执行计划行数不能超过10W 5.不能有limit 1.表是否存在 2.必须有where条件 3.不能有limit 4.执行计划行数不能超过10W
15
DML校验执行
16
DDL校验规则 01.表 02.列 表 列 03.索引 索引 默认值 04.默认值 1.InnoDB引擎
2.字符集(utf8,utf8mb4) 3.注释 4.自增列为ID 5.auto_increment=1 1.不能设置列字符集 2.不能使用集合，枚举，位图类型 3. char超过16要设置为varchar 4.自增列无符号类型 表 列 03.索引 索引 默认值 04.默认值 1.索引名字idx_或者uniq 2.索引列不超过5个 3.必须有主键 4.索引长度不超过766 1.BLOB/TEXT不能not null 2.自增列不能设默认值
17
库，表，qps,roma信息 收集，api判断
DDL自动化发布 DBA少参与 Mapper review 执行方式(online ddl ? Inception?) 开放线上执行权限 线上无故障 DDL filter 判断执行方式 Lock Monitor 不影响业务读写数据 Roma延迟低 产生锁及时回滚 库，表，qps,roma信息 收集，api判断 SQL or inception 监控Meta Data Lock
18
检查项 DDL Filter Roma监听 Table Size QPS 自定义项 Roma最大6000 TPS，考 虑Roma延迟.
100MB，1G，5G，100G 检查项 1000，3000 敏感库，敏感表 QPS 自定义项
19
DDL Filter roma qps table size 执行类型 <1000 <5G 开发可执行 5-50G DBA执行
<1000 <5G 开发可执行 5-50G DBA执行 >50G 凌晨执行 >5G >3000 <1G >1G 1 1-5G <1GB <100MB >100G 不可执行 敏感库
20
DDL 执行方式 原来执行方式
21
DDL 执行方式
22
Meta Data Lock Monitor
23
DDL校验执行
24
4 PART FOUR 回滚语句
25
Inception备份功能 inception_remote_backup_host
inception_remote_backup_port inception_remote_system_user inception_remote_system_password
26
Inception备份功能
27
THANKS FOR YOUR WATCHING
Similar presentations
