在同一个 yarn 会话中运行时分离 flink 作业的日志文件

【问题标题】：Separate flink job's log files when running in the same yarn session在同一个 yarn 会话中运行时分离 flink 作业的日志文件
【发布时间】：2019-08-04 01:57:30
【问题描述】：

当我们在一个 yarn 会话中运行多个 flink 作业时。我们发现日志所有作业都写入同一个文件“taskmanager.log”，我们很难检查特定作业的日志。有什么方法可以将它们分开吗？

除此之外，如果我们的 flink 作业运行时间较长，如何按日期分隔日志文件？

【问题讨论】：

标签： hadoop-yarn apache-flink

【解决方案1】：

据我所知，除了为每个作业运行一个单独的集群外，没有办法为一个作业分离日志。此外，很多被记录的内容并不是针对具体工作的。

要设置日志轮换，您可以在 flink/conf 目录下的 log4j.properties 文件中添加如下内容：

log4j.appender.file=org.apache.log4j.RollingFileAppender 
log4j.appender.file.File=${log.file} log4j.appender.file.MaxFileSize=1000MB 
log4j.appender.file.MaxBackupIndex=0 log4j.appender.file.append=false 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

【讨论】：

似乎独立集群的工作文件，但是纱线上的 flink 仍然只有一个日志文件