【问题标题】:override default jvm reuse value覆盖默认的 jvm 重用值
【发布时间】:2013-07-25 16:59:04
【问题描述】:

我们在 hadoop 的 mapred-site.xml 中将 mapred.job.reuse.jvm.num.tasks 设置为 -1(即让 jvm 无限制地重用)。但我想在我的一项映射工作中覆盖此属性。是否可以仅针对一项作业将此值覆盖为 1。

【问题讨论】:

    标签: hadoop jvm mapreduce reusability


    【解决方案1】:

    您可以覆盖相应 configuration.xml 文件中未标记为 final 的任何属性。为此

    1. 将命令行参数传递给-D property_name=value

    2. 或者通过在您的映射作业中配置

      Configuration.set("property_name", "value");

    【讨论】:

      【解决方案2】:

      您可以使用 public void setNumTasksToExecutePerJvm(int numTasks)。它允许我们设置生成的任务 JVM 在退出之前应该运行的任务数

      【讨论】:

        猜你喜欢
        • 2011-12-20
        • 1970-01-01
        • 1970-01-01
        • 2017-07-08
        • 1970-01-01
        • 1970-01-01
        • 2020-06-07
        • 2022-01-25
        相关资源
        最近更新 更多