使用 Azure 数据工厂时如何从 Rest API 中检索 continuationToken？答案

【问题标题】：How to retrieve the continuationToken from Rest API while using Azure Data Factory?使用 Azure 数据工厂时如何从 Rest API 中检索 continuationToken？
【发布时间】：2022-06-21 19:05:04
【问题描述】：

我正在尝试实现 Azure 数据工厂的复制活动，以将数据从 API 复制到 Azure Blob 存储。我已经正确设置了源和接收器，因此当我触发管道时，它会拉取并加载第一次加载的数据，但我在分页方面遇到了困难。

当我触发管道时，它会正确加载第一页，然后，它不会返回下一个继续令牌以从 API 获取数据。如果我使用它 until 或 for-each 活动，则管道将无限复制同一延续令牌的数据，直到超时。

当我在 Postman 中运行 Rest API 调用时，它会返回数据以及下一个延续令牌。延续令牌类似于 0000xxxx-00000-xxx00-000000xx000000，下一个延续令牌类似于 0000xxyy-00000-xxx00-000000yy000000。

我的目标是使用延续令牌从 Rest API 检索数据并检索下一个延续令牌，以便我可以检索下一页数据，直到延续令牌为空并将其存储在 Azure Blob 存储与 Azure 数据工厂管道.

我能够从其余 API 中检索访问令牌，并且仅检索第一页数据。

请问有什么办法可以解决这个问题吗？

【问题讨论】：

标签： rest pagination azure-data-factory azure-data-factory-2 azure-data-factory-pipeline

【解决方案1】：

假设您的网络活动为您提供了要处理的元素数组，您可以执行以下操作：

链接一个 For Each 活动以遍历数组。

在 ForEach 活动中，您可以将项目设置为（假设项目数组为 outputArray）：@activity('webActivity').output.outputArray

在 ForEach 活动中，您可以使用参数化的 Web 活动来迭代数组中的每个项目。可以使用表达式访问每个项目： @item()

请查看此链接：https://imgur.com/a/LE1CHvp

【讨论】：