【问题标题】:How to do a Blob storage to API data transfer in Azure Data Factory?如何在 Azure 数据工厂中进行 Blob 存储到 API 数据传输?
【发布时间】:2020-06-08 10:13:52
【问题描述】:

我正在做一个 POC,它从 Blob 存储内部的 csv 文件中获取数据,并进行一些映射或转换并将其发送到 Rest API (POST)。我为此使用了查找和网络活动。但是我们不能对这两个进行任何转换。我想用 DataFlow Activity 进行转换,然后再次将其保存到 Blob,然后使用 Lookup 和 Web Activity 来完成其余的工作。我有两个问题。

  1. 还有其他方法可以将 Blob 复制到 API 吗?
  2. Web 活动是否有 1 分钟的执行时间?

谢谢

【问题讨论】:

    标签: azure asp.net-core asp.net-core-webapi azure-data-factory azure-blob-storage


    【解决方案1】:

    还有其他方法可以将 Blob 复制到 API 吗?

    不,数据工厂不支持将 Rest API 作为接收器数据集。我们只能从 REST API 获取数据,不能向其传输数据。参考:Azure Data Factory connector overview

    网络活动是否有 1 分钟的执行时间?

    是的,Web 活动调用的 REST 端点必须返回 JSON 类型的响应。如果未收到端点的响应,则活动将在 1 分钟后超时并出现错误。

    参考:Web activity in Azure Data Factory.

    希望这会有所帮助。

    【讨论】:

    • 谢谢@Leon :) 感谢您的帮助。
    • “Data Factory 不支持将 Rest API 作为 Sink 数据集”意味着我们无法将数据发布到 API?
    • @Kasunk 不,我们不能。其他人在数据工厂反馈中发布了请求,暂时没有回复。查看:feedback.azure.com/forums/270578-data-factory/suggestions/…
    • 但我能够使用 Web 活动将数据发布到 API。使用正文部分来传递 API 端点期望的数据。数据保存成功。
    • 是的,即使我使用了两个网络活动,获取和发布。我在 Post web 活动的主体中使用了 Get output。它也有效
    猜你喜欢
    • 2020-12-22
    • 2021-10-08
    • 2019-04-20
    • 2016-10-02
    • 2019-01-15
    • 1970-01-01
    • 2016-08-30
    • 2021-12-21
    • 2021-12-16
    相关资源
    最近更新 更多