【问题标题】:REST API Pagination in Azure Data FactoryAzure 数据工厂中的 REST API 分页
【发布时间】:2022-08-03 18:30:34
【问题描述】:

我有一个从端点 URL 获取所有值的项目方案。我正在使用 ADF 管道,但我遇到了一些分页问题。

要获得以下值,我需要在以下请求标头中的当前正文响应中使用分页光标值发出请求。

我读过 ADF 支持以下情况,这将是我的。 下一个请求的标头 = 当前响应正文中的属性值 ADF - Pagination support

我不知道如何使用以下属性才能在下一个请求的标头中使用当前响应正文中的 paginationCursor 值。 Attributes for pagination in ADF

    标签: azure-data-factory azure-data-factory-pipeline


    【解决方案1】:

    我试图重现上面但没有成功。相反,如果您想在没有分页的情况下进行操作,您可以尝试这种方法。

    首先创建一个网络活动使用您的 API 的任何页面 URL 来获取总页数. 在 ForEach 中,使用来自网络活动的计数为页码创建一个数组

    @range(1,activity('Web1').output.total_pages)
    

    在 ForEach 中使用复制活动并给出页码的源 REST 数据集参数,例如 ?page=@{item()}

    同样在接收器数据集中,使用 APIdataset@{item()} 之类的数据集参数值为每个页面创建一个数据集。这会生成接收器数据集名称,如 APIdataset1、APIdataset2、...

    现在,您可以从 REST API 复制而无需分页。

    我的repro供您参考:



    复制活动:

    【讨论】:

      猜你喜欢
      • 2022-01-02
      • 1970-01-01
      • 2022-01-26
      • 2022-06-20
      • 1970-01-01
      • 2021-12-06
      • 1970-01-01
      • 2021-09-12
      • 1970-01-01
      相关资源
      最近更新 更多