如何限制对 Databricks 文件系统中特定路径的读/写访问？

Question

我正在使用 Azure DataBricks 处理来自 Azure 存储帐户的数据。我将它们直接安装在 Databricks 文件系统中，如下所示：Mount storage account in Databricks File System。所以在路径下可以访问数据：/mnt/storage_account/container/path_to_file

我挂载了两个存储帐户。第一个是用作表源的标准存储帐户，用户不应该能够访问那里的文件。第二个是 ADLS 存储帐户，用户已配置访问策略，并且通过 ADLS Passthrough 可以读取和写入专用于他们的容器。

我发现限制对 DBFS 访问的唯一方法是使用ANY FILE Object。但是一旦我运行GRANT SELECT ON ANY FILE TO <user>@<domain-name>，用户就可以读取整个文件系统并且可以读取敏感数据。使用 DENY SELECT ON ANY FILE 用户无法从任何存储帐户（包括 ADLS 帐户）进行读写操作，因此 ADLS Passtrough 不起作用。

有什么方法可以限制对/mnt/storage_account_1/container/... 的访问，同时仍然可以访问/mnt/storage_account_2/container...？

Answer 1

您可以尝试通过链接中的以下方式之一对存储帐户 1 设置访问控制 https://docs.microsoft.com/en-us/azure/storage/common/storage-auth?toc=/azure/storage/blobs/toc.json