Dataflow 日志 UI 中列出的所有不同日志是什么？答案

【问题标题】：What are all the different logs listed in the Dataflow Logs UI?Dataflow 日志 UI 中列出的所有不同日志是什么？
【发布时间】：2015-01-15 07:21:28
【问题描述】：

在 Cloud Dataflow Logging UI 中，我看到 4 个不同的日志

这些日志分别代表什么？

这是一个屏幕截图，显示了我的意思。

【问题讨论】：

【解决方案1】：

dataflow-harness 和 dataflow-harness-stdout 是 java worker 工具产生的日志。工人线束完成大部分工作（例如，将 ParDo 应用于数据）。

选择 dataflow-harness 将显示 java worker 工具记录的所有消息。

我们还获取了 java worker 工具的 stdout/stderr，这些日志出现在 dataflow-harness-stdout 下。我们这样做是为了捕获 Java 记录器可能无法捕获的任何信息，例如 JVM 崩溃时的堆栈转储。

dataflow-worker-starter 记录与启动 java worker 工具相关的消息。启动过程基本上包括从 GCS 下载作业的 jar，然后启动 java worker 工具。因此，如果启动 java worker 工具时出现问题，这也是个不错的地方。

最后，在 shuffle 下，您将找到来自 shuffler 的日志。

【讨论】：