【问题标题】:copy azure blob files to azure synapse using ADF使用 ADF 将 azure blob 文件复制到 azure synapse
【发布时间】:2021-03-13 09:21:19
【问题描述】:

我的源文件以 CSV 格式保存在 Azure Blob 存储中。

我希望将这些文件解压缩并使用 ADF 移动到 Azure 突触。在复制活动源中,我为 blob 存储提供了输入,在接收器中,我为突触提供了输入。 但我不确定我需要在 Polybase 或 Copy Command (Preview) 或 Bulk insert 中选择哪种复制方法。 我尝试使用 Polybase 和批量插入复制方法。但是运行管道时出现以下错误。

ErrorCode=FailedDbOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Error happened when loading data into SQL Data Warehouse.,
Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Data.SqlClient.SqlException,
Message=User does not have permission to perform this action.,Source=.Net SqlClient Data Provider,
SqlErrorNumber=15247,Class=16,ErrorCode=-2146232060,State=1,Errors=[{Class=16,Number=15247,State=1,Message=User does not have permission to perform this action.,},],'

但是在 Azure sql Datawarehouse 中,我可以使用 sql 脚本插入数据。所以,我相信上面的用户权限错误不是让我管道失败的问题。

请您指导我,因为我是 Azure 的新手?

谢谢

【问题讨论】:

  • IIRC 您在设置数据源/接收器时提供连接凭据。使用该凭据以确保它具有对正确架构/表的写入权限。
  • PS:创建自己的编排以使用 COPY 命令将 csv 文件加载到 Synapse 而不是数据工厂(更难但)便宜得多。
  • 您是否使用相同的用户/帐户连接到 Azure 突触?
  • 感谢 Kashyap 的回复。您能否提供有关编排方式的更多信息?
  • 大家好.. 非常感谢您的回答。但问题出在数据库的防火墙设置中。现在已修复,我可以将文件复制到 dw。

标签: azure azure-blob-storage azure-data-factory azure-synapse


【解决方案1】:

问题是由数据库防火墙设置引起的。

我们很高兴听到它现在已修复。

【讨论】:

    猜你喜欢
    • 2017-04-01
    • 2017-08-03
    • 2022-11-10
    • 2018-06-12
    • 2019-11-23
    • 1970-01-01
    • 2019-08-12
    • 1970-01-01
    • 2020-06-10
    相关资源
    最近更新 更多