如何通过扩展 FileInputFormat 的新 API 来获取拆分主机详细信息？答案

【问题标题】：How to get split host details by extending new API of FileInputFormat?如何通过扩展 FileInputFormat 的新 API 来获取拆分主机详细信息？
【发布时间】：2015-01-05 11:37:01
【问题描述】：

您好，我正在尝试通过扩展 org.apache.pig.LoadFunc 为猪创建自定义加载器，它需要实现

public abstract org.apache.hadoop.mapreduce.InputFormat getInputFormat() throws java.io.IOException;

现在org.apache.hadoop.mapreduce.InputFormat 上面的格式是新 API，所以我必须通过扩展 org.apache.hadoop.mapreduce.InputFormat 创建自定义文件格式我已经使用新 API 创建了自定义文件格式，但我需要使用以下代码找出拆分主机的详细信息

String[] splitHosts = getSplitHosts(blkLocations, 0, length, clusterMap);

getSplitHosts() 在旧 API org.apache.hadoop.mapred.FileInputFormat 中可用，但在 org.apache.hadoop.mapreduce.lib.input.FileInputFormat 中不可用

我的问题是如何使用 org.apache.hadoop.mapreduce.lib.input.FileInputFormat 的新 API 找出 getSplitHosts()

请指导我是 Hadoop 新手，提前谢谢。

【问题讨论】：

标签： java hadoop mapreduce apache-pig

【解决方案1】：

Hadoop 2 具有向后兼容性，您仍然可以使用旧 api，并且它也可以在新版本中使用。不会有任何问题。
所以你可以使用 Hadoop 2.6 版本 api here 中给出的那个类

希望对你有帮助！

【讨论】：