更改在纱线上运行的 flink 作业的日志文件输出路径答案

【问题标题】：change log files output path for flink jobs that run on yarn更改在纱线上运行的 flink 作业的日志文件输出路径
【发布时间】：2019-12-31 03:51:53
【问题描述】：

我们有一些在 yarn 上运行的 flink 作业。我们想将 flink 作业日志上传到 ELK 以简化调试/分析。目前 flink 任务管理器将日志写入/mnt/flinklogs/$application_id/$container_id。我们想让它写入一个没有$applicatoin_id/$container_id 嵌套结构的目录。

我试过env.log.dir: /mnt/flink。使用此设置，配置未正确传递。

 -Dlog.file=/mnt/flinklogs/application_1560449379756_1312/\
    container_e02_1560449379756_1312_01_000619/taskmanager.log

【问题讨论】：

标签： apache-flink hadoop-yarn hadoop2

【解决方案1】：

我认为解决此问题的最佳方法是使用yarn log aggregation 将日志写入磁盘并使用弹性filebit 将它们发送到弹性。

【讨论】：

@MlkCode 感谢您的回复！当作业有很多容器和GB级别的日志量时，使用yarn logs --applicationId ...可能需要一段时间才能获取日志。我们也无法通过这种方式获取长时间运行的应用程序的日志。