Hadoop I/O By ShiChaojie.

Presentation on theme: "Hadoop I/O By ShiChaojie."— Presentation transcript:

1 Hadoop I/O By ShiChaojie

2 index 数据完整性 1 2 3 4 压缩 序列化 基于文件的数据结构

3 基于文件的数据结构 某些需要特殊的数据结构来存贮数据。 扩展性。

4 基于文件的数据结构-SequenceFile
提供了二进制键/值对的永久存储的数据结构 作为小文件的容器

5 基于文件的数据结构-SequenceFile
createWriter() 步骤： SquenceFile.Writer实例 append()文件末尾附加键/值对 close ()方法

6 基于文件的数据结构-SequenceFile
SequenceFile.Reader实例  next()  迭代 (1)Writable类型  带参数的next()方法 (2)非Writable类型的序列化框架

7 基于文件的数据结构-SequenceFile
同步点：数据读取的实例出错后能够再一次与记录边界同步的数据流中的一个位置 SquenceFile.Writer记录

8 基于文件的数据结构-SequenceFile
同步点应用：搜索 (1)调用seek()  reader.seek(359); read.seek(360)× (2)同步点寻找记录边界 SequenceFile.Reader对象  sync(long position)

9 基于文件的数据结构-SequenceFile
Hadoop fs -text

10 基于文件的数据结构-SequenceFile
排序和合并文件 MapReduce  reducer SequenceFile.Sorter类  sort() merge() 顺序文件的格式

11 基于文件的数据结构-Mapfile MapFile:排序的SequenceFile

12 基于文件的数据结构-Mapfile 写入MapFile： MapFile.Writer  append()  IOException

13 基于文件的数据结构-Mapfile MapFile索引

14 基于文件的数据结构-Mapfile 读取MapFile： MapFile.Reader  next() get()函数随机访问

15 基于文件的数据结构-Mapfile Sequence file 转换为 MapFile： 建立索引 Fix()

16 Thanks