Download presentation
Presentation is loading. Please wait.
1
列式存储技术
2
传统数据库的行式存储 数据按行存储 操作某列必须读入整行 没有索引的查询占用大量I/O 建索引或聚合表需要花费大量时间和资源
传统行式数据库 数据按行存储 操作某列必须读入整行 没有索引的查询占用大量I/O 建索引或聚合表需要花费大量时间和资源 适用于联机事务处理（OLTP） c1 c2 c3 c4 c5 c6 c7 c8 c9 … r1 r2 r3 r4 r5
3
行式存储的局限性 数据仓库需要进行联机分析处理（OLAP） OLAP类型的查询 需要访问几百万甚至几十亿个数据行 往往只关心少数几个数据列
冗余列的查询没有意义 数据几乎不压缩
4
OLTP OLAP 当前数据库市场的细分格局 做 你知道的 分析发现 你不知道的 “万能的” 行式数据库 列式数据库 更大量数据的分析
内存数据库 更多事务处理 OLTP 交易业务 OLAP 分析系统
5
列式存储 数据按列存储 – 每一列单独存放 数据即是索引 只访问查询涉及的列 – 大量降低系统IO 每一列由一个线程来处理 – 查询并发处理
列式数据库 数据按列存储 – 每一列单独存放 数据即是索引 只访问查询涉及的列 – 大量降低系统IO 每一列由一个线程来处理 – 查询并发处理 数据类型一致，数据特征相似 – 方便压缩 c1 c2 c3 c4 c5 c6 c7 c8 c9 … r1 r2 r3 r4 r5
6
列式存储的数据压缩 传统的行存储数据库存储的数据差异性较大，压缩效果不好 列存储非常适合轻量级压缩
7
列组 每次读取某个数据行 需要分别从不同的地方读取各个数据列的值 合并在一起形成数据行 列组一种行列混合存储模式
同时满足OLTP和OLAP的查询需求 很多列式数据库支持列组 多个经常一起访问的数据列的各个值存放在一起 若读取的数据列属于相同的列组，列式数据库可以从相同的地方一次性读取多个数据列的值，避免了多个数据列的合并
8
列式存储的应用
9
列式存储的优缺点 优点： 数据读取过程没有冗余，能直接读取某列数据 节省大量I/O带宽
数据能进行有效压缩，为数据仓库中巨大的数据量节约存储成本 能够迅速的执行复杂查询 缺点： 对数据行的操作效率较低
10
Thank you
Similar presentations
