错误：拆分元数据大小超过 10000000

Question

当我尝试在 hadoop 上运行作业时，我收到了错误 The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.。

Internet 搜索被指示用于将 mapred-site.xml 文件中的 mapreduce.job.split.metainfo.maxsize 选项更改为 -1 的服务。但是您不能通过 Google 集群中的文件来编辑此选项。

我也尝试使用-Dmapreduce.job.split.metainfo.maxsize = -1 通过命令行设置选项，但无济于事。

我尝试在源代码中添加一个选项：

Configuration config = new Configuration ();
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1");

但它仍然犯同样的错误。替代品？

Answer 1

我有同样的问题。两个cmets：

我不确定-Dmapreduce.job.split.metainfo.maxsize = -1 是否可以在没有空格的情况下工作，但我认为空格是不允许的。

其次，您似乎将其设置为您的工作未使用的配置。尝试使用您的工作正在使用的配置 --

job.getConfiguration.set("mapreduce.job.split.metainfo.maxsize", "-1");

这对我有用。祝你好运。