EMR 6.9 中的 EMR 6.7 配置给出错误 Classification \'spark-log4j\' is not valid for parent classification \'null\'答案

【问题标题】：EMR 6.7 configuration in EMR 6.9 gives error Classification 'spark-log4j' is not valid for parent classification 'null'EMR 6.9 中的 EMR 6.7 配置给出错误 Classification \'spark-log4j\' is not valid for parent classification \'null\'
【发布时间】：2023-01-21 00:15:20
【问题描述】：

我在软件配置中使用 emr 6.7：

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  },
  {
    "Classification": "spark-log4j",
    "Properties": {
      "log4j.rootCategory": "ERROR, console"
    }
  }
]

但出于某种原因，当我转向 emr 6.9 时。

was 网站开始抛出错误

分类“spark-log4j”对父分类无效 '无效的'。

如果我删除这个 spark-log4j 然后它工作但开始提供不必要的 INFO 和 DEBUG 日志

如何在 EMR 6.9 中配置 spark-log4j？

【问题讨论】：

标签： apache-spark log4j amazon-emr

【解决方案1】：

现在有一个‘spark-log4j2’的分类：https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-690-release.html#emr-690-class。我想使用它可以解决您的问题。

【讨论】：