hadoop中的序列文件是什么？

Question

我是 Map-reduce 的新手，我想了解什么是序列文件数据输入？我学习了 Hadoop 书籍，但我很难理解。

Answer 1

首先我们应该了解SequenceFile试图解决什么问题，然后SequenceFile如何帮助解决问题。

在 HDFS 中

• SequenceFile 是 Hadoop 中小文件问题的解决方案之一。
• 小文件明显小于 HDFS 块大小 (128MB)。
• HDFS中的每个文件、目录、块都表示为对象，占用150字节。
• 1000 万个文件，将使用大约 3 GB 的 NameNode 内存。
• 十亿个文件是不可行的。

在 MapReduce 中

• Map 任务通常一次处理一个输入块（使用默认的 FileInputFormat）。

• 文件数越多，需要的Map任务数越多，作业时间会慢很多。

小文件场景

• 这些文件是一个更大的逻辑文件的片段。
• 文件本身就很小，例如图像。

这两种情况需要不同的解决方案。

• 对于第一个，编写一个程序将小文件连接在一起。（参见 Nathan Marz 的 post 关于一个名为 Consolidator 的工具，它正是这样做的）
• 对于第二个，需要某种容器以某种方式对文件进行分组。

Hadoop 中的解决方案

HAR 文件

• 引入了 HAR(Hadoop Archives) 以缓解大量文件对 namenode 内存造成压力的问题。
• HAR 可能最适合纯粹用于存档目的。

序列文件

• SequenceFile 的概念是将每个小文件放到一个更大的单个文件中。

• 例如，假设有 10,000 个 100KB 的文件，那么我们可以编写一个程序将它们放入如下所示的单个 SequenceFile 中，其中可以使用文件名作为键，使用内容作为值。

  
  _{（来源：csdn.net）}

• 一些好处：

  1. NameNode 上需要的内存数量较少。继续以 10,000 个 100KB 文件为例，
     • 在使用 SequenceFile 之前，10,000 个对象在 NameNode 中占用大约 4.5MB 的 RAM。
     • 使用SequenceFile、1GB SequenceFile 和8 个HDFS 块后，这些对象在NameNode 中占用了大约3.6KB 的RAM。
  2. SequenceFile 是可拆分的，因此适用于 MapReduce。
  3. SequenceFile 支持压缩。

• 支持的压缩，文件结构取决于压缩类型。

  1. 未压缩

  2. 压缩记录：在将每条记录添加到文件时对其进行压缩。
     _{（来源：csdn.net）}

  3. 块压缩
     _{（来源：csdn.net）}

     • 等待数据达到要压缩的块大小。
     • 块压缩比记录压缩提供更好的压缩比。
     • 块压缩通常是使用 SequenceFile 时的首选选项。
     • 此处的块与 HDFS 或文件系统块无关。