Hadoop I/O By ShiChaojie
index 数据完整性 1 2 3 4 压缩 序列化 基于文件的数据结构
基于文件的数据结构 某些需要特殊的数据结构来存贮数据。 扩展性。
基于文件的数据结构-SequenceFile 提供了二进制键/值对的永久存储的数据结构 作为小文件的容器
基于文件的数据结构-SequenceFile createWriter() 步骤： SquenceFile.Writer实例 append()文件末尾附加键/值对 close ()方法
基于文件的数据结构-SequenceFile SequenceFile.Reader实例 next() 迭代 (1)Writable类型 带参数的next()方法 (2)非Writable类型的序列化框架
基于文件的数据结构-SequenceFile 同步点：数据读取的实例出错后能够再一次与记录边界同步的数据流中的一个位置 SquenceFile.Writer记录
基于文件的数据结构-SequenceFile 同步点应用：搜索 (1)调用seek() reader.seek(359); read.seek(360)× (2)同步点寻找记录边界 SequenceFile.Reader对象 sync(long position)
基于文件的数据结构-SequenceFile Hadoop fs -text
基于文件的数据结构-SequenceFile 排序和合并文件 MapReduce reducer SequenceFile.Sorter类 sort() merge() 顺序文件的格式
基于文件的数据结构-Mapfile MapFile:排序的SequenceFile
基于文件的数据结构-Mapfile 写入MapFile： MapFile.Writer append() IOException
基于文件的数据结构-Mapfile MapFile索引
基于文件的数据结构-Mapfile 读取MapFile： MapFile.Reader next() get()函数随机访问
基于文件的数据结构-Mapfile Sequence file 转换为 MapFile： 建立索引 Fix()
Thanks