使用 Hadoop Streaming Python 的 SequenceFile 格式

Question

从 0.21 开始，Hadoop 是否正式支持 streaming with binary formats？

hadoop-streaming.jar 接受作为 Java 类名的 inputFormat。您如何为这个 Java 类提供 Hadoop 流式作业？除了使用 inputFormat、outputFormat 参数执行 hadoop-streaming.jar 之外，还必须做什么才能运行具有 SequenceFile 输入/输出格式的 Python 流作业？

Answer 1

它看起来像一些泥泞的文档。

尝试阅读这些答案

How to use Hadoop Streaming with LZO-compressed Sequence Files?

Python read file as stream from HDFS

不用担心 Sequencefile。不值得。