Databricks：在 cron 上删除根 DBFS 上的集群日志和修订

Question

试图调查高额数据块费用我惊讶地发现，其中很多实际上是一个自动创建的存储帐户，通过 GRS 复制到另一个包含大量日志文件的区域（TB 上的数据） 例如：

dbutils.fs.ls('dbfs:/cluster-logs')
dbfs:/cluster-logs/1129-093452-heard78

如何在不删除前一天左右的日志的情况下每天自动删除这些数据

还有如何将这些日志发送到其他地方（如果我愿意）

Answer 1

其中一种解决方案是为日志创建一个不带 GRS 选项的单独存储帐户，并将文件的保留期设置为特定的时间量，例如几天。应该装载此存储帐户，并将日志位置更改为指向该装载。例如，您可以通过cluster policies 强制执行。

可以使用 Microsoft 的 spark-monitoring 将集群日志发送到 Azure Log Analytics（有关详细信息，请参阅 official docs）。如果您想将它们发送到其他地方，您可以设置init scripts（集群或全局），并使用特定客户端发送您需要的任何日志。