如何更改 Hadoop 中数据块的大小？

Question

我正在使用新的 Hadoop API，由于无法明确指定映射器的数量（与旧 API 不同），我需要更改数据块的大小，以便我可以控制映射器的数量.如何在代码中更改数据拆分的默认大小？

Answer 1

映射器的数量由（文件）拆分决定
分割大小由所使用的 InputFormat 决定。
mapred.max.split.size 参数将让您定义分割大小。