【发布时间】：2020-10-28 04:58:55
【问题描述】：
我正在尝试从 API 获取数据，结果被拆分为多个页面，响应如下所示。
{ “故事计数”：212， "下一个": "?page=11", "previous": "?page=9", “结果”：[{
我不知道如何获取第二个页面和更多页面的数据，直到我将下一个值设为 NULL。我不知道在这种情况下如何在复制活动中使用分页功能，请多多帮助！
【问题讨论】：
-
我认为这在复制活动中是不可能的，并且在数据流中也将具有挑战性。您需要创建一些流程来一次处理一页结果，然后汇总结果。
-
我无法使用 ADF 解决此问题。相反，我使用 Azure Databricks 笔记本 (Pyspark) 来提取和转换 JSON，并将其直接写入 azure sql。我对插入到 azure sql 的速度感到非常惊讶，它实际上是我习惯的 4 倍。使用这种方法的另一个好处是使用多线程并将访问令牌存储到会话标头中（启用 TCP 连接的重用）。尽管如此，非常复杂的方法但对我有用。
-
嘿@Luukv93 你能分享你的代码吗？谢谢
标签： json azure pagination azure-data-factory webapi