【问题标题】:Can not delete files on data lake store created by HDinsight activity无法删除 HDinsight 活动创建的数据湖存储上的文件
【发布时间】:2018-05-07 09:50:40
【问题描述】:

我无法delete 关联Azure Datalake Store 上的Python/Scala/Hive 程序创建的文件。当我尝试delete 时,我收到access denied error 的那些文件夹和文件。我确保这些文件夹和文件上有full permission

任何帮助表示赞赏。

【问题讨论】:

  • 解决了。我允许自己成为 IAM 的所有者。现在可以删除文件了。

标签: azure hive azure-data-lake azure-hdinsight


【解决方案1】:

我建议您重新检查权限。

注意:要删除文件,只需在父文件夹(adl://mydatalakestore.azuredatalakestore.net/folder/)上写入并执行即可。

删除文件所需的权限:

  • 对于父文件夹,调用者需要写入+执行权限。

  • 对于文件路径中的所有其他文件夹,调用者需要执行权限

注意:只要前两个条件成立,删除文件不需要写权限。

更多详情,请参阅“Access control in Azure Data Lake Store”。

【讨论】:

【解决方案2】:

请注意,您必须对尝试删除的父文件夹下的所有文件和子文件夹具有权限。您可以通过门户递归地设置权限来确保这种情况。查看您要删除的父文件夹,单击访问,验证您的权限设置是否正确,单击高级,然后单击“应用于子级”。

完成后,您必须等待浏览器窗口处于活动状态。如果您有很多文件,这可能需要一段时间(如果您有数百万个文件,那么您将需要使用单独的工具,例如 https://github.com/Azure/data-lake-adlstool)。如果您未能对某些文件设置权限,则您无权访问该文件。

【讨论】:

  • 你能提供更多关于什么不起作用的信息吗?
  • 抱歉,我敲的太早了。你能提供更多关于什么不起作用的信息吗?尝试递归设置所有子 ACL 时是否有任何失败?此外,您的分析工作使用什么凭据?由于经常涉及文件/文件夹的规模,诊断这些访问问题可能很困难,但通常归结为 ACL 设置不正确或丢失。
  • 解决了。我允许自己成为 IAM 的所有者。现在可以删除文件了。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-11-13
  • 1970-01-01
  • 2020-11-26
  • 1970-01-01
  • 2021-07-20
相关资源
最近更新 更多