为什么 Hive 和 HiveServer2 需要 mapred.InputFormat？

Question

我只是想确保我没有遗漏任何东西。我正在为 Hive 开发一个 InputFormat 来处理我们特定的 hdfs-file-format。我刚刚意识到它需要扩展 mapred.InputFormat 而不是 mapreduce.InputFormat

这是对的吗？还是我错过了什么？我可以使用mapreduce 包中的FileInputFormat 吗？

Answer 1

您将不得不使用mapred.InputFormat Hive 尚未完全迁移到新包。如果您出于任何原因需要/想要使用mapreduce.InputFormat 包，您可以随时包装mapreduce.InputFormat。事实上，这就是我所做的让它与 Hive 交互但仍然利用 mapreduce 包的方法。

编辑：为了实现两种API之间的互操作，我将读取文件记录的逻辑抽象到另一个类中，并在两个InputFormats中使用。