Databricks：如何解决 DBFS DOWN？

【问题标题】：Databricks: How to solve DBFS DOWN?Databricks：如何解决 DBFS DOWN？
【发布时间】：2021-05-21 20:06:09
【问题描述】：

我使用 Azure Databricks。在我试图做的笔记本中：

dbutils.fs.ls("dbfs:/")

我有这个错误：

java.lang.RuntimeException: java.io.IOException: Failed to perform &#39;getMountFileState(forceRefresh=true)&#39; for mounts after 3 attempts. Please, retry the operation.

Original exception: 'shaded.databricks.org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: This request is not authorized to perform this operation.

在 Databricks 的事件日志中，我看到 DBFS DOWN。

如何解决 DBFS DOWN 问题？

【问题讨论】：

标签： databricks azure-databricks

【解决方案1】：

DBFS DOWN 错误的原因之一可能是驱动节点过载，例如，如果您有许多用户使用同一个集群等。要解决它，您可能需要增加驱动内存，减少用户数在集群中等

但真正的错误是 This request is not authorized to perform this operation - 如果您不允许从其他网络访问存储帐户，通常会发生这种情况 - 检查存储帐户的防火墙规则，并将 Databricks 工作区网络添加到允许的范围。

【讨论】：

谢谢，我会全部尝试的。我尝试为驱动程序使用具有更高内存的新集群，但仍然有 DBFS DOWN。我不明白为什么我有“此请求无权执行此操作”，因为几天前一切正常。关于我拥有的防火墙规则：“所有网络，包括互联网，都可以访问此存储帐户”
存储密钥没有轮换？
访问密钥还是一样的。当我尝试 dbutils.fs.mount 时，错误出现在 "extra_configs = {"fs.azure.account.key."+storageName+".blob.core.windows.net": accessKey})"