在 Hadoop 的 Java 中创建 CombineFileSplit？

Question

CombineFileSplit 有一个构造函数：

CombineFileSplit(Path[] files, long[] start, long[] lengths, String[] locations) 

locations 数组是否必须与 files 数组大小相同，因为文件可以驻留在许多位置/节点中？

Answer 1

locations 数组的大小不必与 files 数组的大小相同，因为从 FileSplit 的构造函数中： public FileSplit（路径文件， 漫长的开始， 长长的， 字符串 [] 主机） 您可以得出结论，一个文件可以有许多位置/主机。此外，如果您看到 CombineFileSplit 的构造函数的源代码，您可以传递一个空字符串数组。我认为位置数组是供你使用的，所以如果你知道文件的位置，你可以提供它或传递空字符串。