yarn开启日志归集功能,除了配置之外

yarn.log-aggregation-enable=true

还要检查/tmp/logs目录是否存在以及权限,尤其是在开启kerberos之后,有些目录可能不能自动创建成功,需要手工创建:

$ hdfs dfs -mkdir /tmp
$ hdfs dfs -chmod 777 /tmp

每个应用的hdfs日志目录:

/tmp/logs/$user/logs/$applicationId

如果上述日志目录存在但是还是查不出来

Log aggregation has not completed or is not enabled.

可能是因为用户权限,可以切换到对应的用户再查询

# sudo -u $user yarn logs -applicationid=$applicationId

 

相关文章:

  • 2022-02-28
  • 2022-02-09
  • 2021-08-01
  • 2022-02-24
  • 2021-12-17
  • 2021-09-26
  • 2021-07-18
  • 2021-10-12
猜你喜欢
  • 2021-12-20
  • 2021-12-30
  • 2021-06-06
  • 2021-09-01
  • 2021-10-19
  • 2021-11-13
  • 2022-01-25
相关资源
相似解决方案