【发布时间】:2013-07-25 16:59:04
【问题描述】:
我们在 hadoop 的 mapred-site.xml 中将 mapred.job.reuse.jvm.num.tasks 设置为 -1(即让 jvm 无限制地重用)。但我想在我的一项映射工作中覆盖此属性。是否可以仅针对一项作业将此值覆盖为 1。
【问题讨论】:
标签: hadoop jvm mapreduce reusability
我们在 hadoop 的 mapred-site.xml 中将 mapred.job.reuse.jvm.num.tasks 设置为 -1(即让 jvm 无限制地重用)。但我想在我的一项映射工作中覆盖此属性。是否可以仅针对一项作业将此值覆盖为 1。
【问题讨论】:
标签: hadoop jvm mapreduce reusability
您可以覆盖相应 configuration.xml 文件中未标记为 final 的任何属性。为此
将命令行参数传递给-D property_name=value。
或者通过在您的映射作业中配置
Configuration.set("property_name", "value");
【讨论】:
您可以使用 public void setNumTasksToExecutePerJvm(int numTasks)。它允许我们设置生成的任务 JVM 在退出之前应该运行的任务数
【讨论】: