EMR 上的 Spark 日志在哪里？答案

【问题标题】：Where are the Spark logs on EMR?EMR 上的 Spark 日志在哪里？
【发布时间】：2015-08-10 06:33:43
【问题描述】：

在 EMR 中的 Spark 上运行作业时，我无法在 Scala 中找到来自 println 调用的错误日志或消息。

我在哪里可以访问这些？

我正在提交Spark job，使用script-runner.jar 将Scala 写入EMR，参数--deploy-mode 设置为cluster 和--master 设置为yarn。它运行良好。

但是我在Amazon EMR UI 中没有看到我的println 语句，它列出了“stderr, stdoutetc. Furthermore if my job errors I don't see why it had an error. All I see is this in thestderr`:

15/05/27 20:24:44 INFO yarn.Client: Application report from ResourceManager: 
 application identifier: application_1432754139536_0002
 appId: 2
 clientToAMToken: null
 appDiagnostics: 
 appMasterHost: ip-10-185-87-217.ec2.internal
 appQueue: default
 appMasterRpcPort: 0
 appStartTime: 1432758272973
 yarnAppState: FINISHED
 distributedFinalState: FAILED
 appTrackingUrl: http://10.150.67.62:9046/proxy/application_1432754139536_0002/A
 appUser: hadoop

`

【问题讨论】：

标签： scala apache-spark emr

【解决方案1】：

使用集群上的集群部署模式，Spark 驱动程序和因此执行的用户代码将位于 Application Master 容器中。听起来您在集群上启用了 EMR 调试，因此日志也应该推送到 S3。在 S3 位置查看task-attempts/<applicationid>/<firstcontainer>/*。

【讨论】：

是的，这是正确的。谢谢你。对于其他用户的知识，您可以在 Amazon EMR Web UI 中查看此“日志 URI”以获取您的集群信息/详细信息。

【解决方案2】：

如果您通过 SSH 连接到集群的主节点，那么您应该能够在以下位置找到 stdout、stderr、syslog 和控制器日志：

/mnt/var/log/hadoop/steps/<stepname>

【讨论】：

这些是 Step 日志，不包含 Spark 应用程序日志（例如 OP 的 println 语句）。
如上评论所述，此答案不正确。

【解决方案3】：

spark-history-server 所需的事件日志可在以下位置找到：

hdfs:///var/log/spark/apps

【讨论】：

【解决方案4】：

我也花了很多时间来解决这个问题。在以下位置找到日志： EMR UI 控制台 -> 摘要 -> 日志 URI -> 容器 -> application_xxx_xxx -> container_yyy_yy_yy -> stdout.gz。

【讨论】：

【解决方案5】：

如果您使用 emr-bootstrap 提交作业，您可以使用 --log-uri 将日志目录指定为 s3 存储桶

【讨论】：

谢谢 - 我认为这可能在我创建集群时设置（而不是在提交作业时）？我会在下次创建集群时尝试
S3 日志是纯文本，但是在 Spark History Server 中，我可以下载 JSON 日志，这些日志非常适合在 Elasticsearch 中进行索引（事件日志列下的下载按钮）。这些存储在哪里？