在 Databricks 中哪里可以找到火花日志

【问题标题】：Where to find spark logs in Databricks在 Databricks 中哪里可以找到火花日志
【发布时间】：2021-10-27 09:51:41
【问题描述】：

我正在尝试从 Databricks 获取火花日志并检查发送到 SNowflake 的连接字符串。在什么路径可以找到spark log？

我已经启用了这个跟踪选项，但我是否需要为 spark 启用一些额外的日志记录：

sfOptions = {
"sfURL" : "test.eu-central-1.snowflakecomputing.com",
"sfUser" : "user",
"sfPassword" : **********
"sfDatabase" : "db",
"sfSchema" : "sch",
"sfWarehouse" : "wh",
"tracing" : "all",
 }

谢谢

【问题讨论】：

标签： pyspark apache-spark-sql databricks

【解决方案1】：

这实际上取决于信息将记录在哪里 - 仅记录在驱动程序上，或者也记录在执行程序上。如果您navigate to Cluster UI、you'll see two options“驱动程序日志”和“Spark UI”。第一个will give you access to all driver logs for given cluster，您可以通过第二个项目访问执行程序和驱动程序日志 - 它只是一个标准的 Spark UI 选项。

您也可以configure delivery of the logs to DBFS，在这种情况下，您可以将它们从指定位置下载到本地机器进行更多调查（例如，通过databricks-cli）

【讨论】：