如何使用 Log4j 和 Storm Framework 将日志写入文件？

Question

我在 Storm 中使用 log4j 登录文件时遇到了一点问题。

在提交我的拓扑之前，即在我的主要方法中，我编写了一些日志语句并使用以下配置记录器：

PropertyConfigurator.configure(myLog4jProperties)

• 现在，当我在 eclipse 中使用 executable jar 运行拓扑时 - 它工作正常，并且正在按预期创建日志文件。
  或
  当我使用“java -jar MyJarFile”运行我的可执行 jar someOtherOptions”，我可以看到正在配置 log4j 并且文件是 格式正确，并且在文件和控制台上都完成了日志记录（如 在我的 log4j.properties 中定义）

• 但是当我使用“storm jar MyJarFile MyMainClass someOtherOptions”运行同一个 jar 时，它无法创建和记录 进入除控制台以外的任何文件。

我说的是我在在提交拓扑之前打印的日志。

在使用storm时有什么方法可以将我的语句记录在一个文件中？我不一定要使用 org.apache.log4j。

Answer 1

storm 框架使用自己的日志记录。您的日志很可能最终会出现在安装了storm 的日志目录中（{Storm DIR}/logs）。您可以在 {Storm DIR}/logback/cluster.xml 中找到风暴日志属性。它使用 logback 而不是 log4j

Answer 2

我建议使用 SLF4J 在storm 中进行日志记录。您可能可以让 LOG4J 工作，但您将在集群中的每个节点上进行额外的设置。由于storm已经为你做了这个，我真的不明白这一点。

在您的项目中，包含这些 maven 依赖项（用于您的单元测试的 slf4j-simple！）：

<dependency>
  <groupId>org.slf4j</groupId>
  <artifactId>slf4j-api</artifactId>
  <version>1.7.5</version>
</dependency>
<dependency>
  <groupId>org.slf4j</groupId>
  <artifactId>slf4j-simple</artifactId>
  <version>1.7.5</version>
  <scope>test</scope>
</dependency>

然后，在您的拓扑/spouts/bolts 中，您将获得 Logger：

private static final Logger LOG = LoggerFactory.getLogger(MySpout.class);

在我的环境中，任何 INFO 及以上内容都会记录到文件中，更重要的是，在 Storm UI 中可见。您只需单击您的 spout/bolt，然后单击端口号即可转到日志查看器页面。

如果您想获取实际文件，则可以从每个节点收集它们（我的在 /var/log/storm/）。