【问题标题】:Source and Sink data from/to Azure Data Lake Store gen1 with Azure data factory's (ADF) Data Flow (DF)使用 Azure 数据工厂 (ADF) 数据流 (DF) 从/向 Azure Data Lake Store gen1 发送和接收数据
【发布时间】:2019-10-19 04:42:52
【问题描述】:

我有一个 Azure Data Lake Store gen1 (ADLS-1) 和一个带有数据流 (DF) 的 Azure 数据工厂 (ADF) (V2)。当我在 ADF 中创建新 DF 并在 Source 和/或 Sink 节点中选择来自 ADLS-1 的数据集时,我收到以下验证错误(在 DF 中):

source1 AzureDataLakeStore does not support MSI authentication in Data Flow.

这是否意味着我不能将 DF 与 ADLS-1 一起使用,或者这是某种身份验证问题?

我尝试过的事情清单:

  • 我已在 ADLS-1 的访问控制 (IAM) 中为 ADF 资源分配了所有者角色
  • 我已在数据集的 ADLS-1 文件夹中授予 ADF 资源所有(读取、写入等)权限
  • 我可以在 ADF 管道中从 ADLS-1 向 ADLS-1 复制数据(因此在 DF 之外)
  • 我可以在 DF 的源节点和汇节点中为来自 ADLS-2(第 2 代)的数据集选择数据集(所以这里我没有收到错误)
  • 我可以创建一个管道,它首先将数据集从 ADLS-1 复制到 ADLS-2,然后使用 DF 对其进行处理(并将其复制回来)。这种解决方法非常繁琐,而且我没有 ADLS-2 正在生产中(目前)。
  • 上面写着here,ADLS-1 支持的功能包括映射数据流 (DF)。

如果有人知道将 DF 与 ADLS-1 结合使用的方法或排除其功能,那将非常有帮助。

【问题讨论】:

  • 你有什么收获吗?
  • @Brondahl 我让它与服务负责人一起工作。用户身份授权(如预期的那样)有时在 Azure 中受到限制。

标签: azure-data-factory dataflow azure-data-factory-2


【解决方案1】:

ADF 中的映射数据流目前尚不支持 MSI 身份验证。

【讨论】:

    猜你喜欢
    • 2020-08-21
    • 2018-08-01
    • 1970-01-01
    • 2023-03-14
    • 2019-10-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-06
    相关资源
    最近更新 更多