符合 RFC 5988 的 REST API (Meraki) 的 Azure 数据工厂分页答案

【问题标题】：Azure Data Factory Pagination for RFC 5988 compliant REST API (Meraki)符合 RFC 5988 的 REST API (Meraki) 的 Azure 数据工厂分页
【发布时间】：2021-12-06 11:03:12
【问题描述】：

我正在尝试实现 Azure 数据工厂的复制活动，以将数据从 API 复制到我们的 SQL 数据仓库。我已经正确设置了源和接收器，因此当我触发管道时，它会拉取并加载第一次加载的数据，但我在分页方面遇到了困难。

我尝试从中提取数据的 API 是 Cisco Meraki (https://developer.cisco.com/meraki/api-v1/#!introduction/meraki-dashboard-api)，它是一个使用 RFC 5988 分页方法的 REST API。这意味着它在响应标头中传递下一页的分页规则。

我运行以下 API 调用

{{baseUrl}}/networks/:networkId/events?productType=wireless&perPage=1000

将以下内容作为链接头响应传递以指示下一页

<{{baseUrl}}/networks/:networkId/events?endingBefore=2021-10-19T13%3A03%3A06.769680Z&perPage=1000&productType=wireless>; rel=prev, <{{baseUrl}}/networks/:networkId/events?perPage=1000&productType=wireless&startingAfter=2021-10-19T13%3A44%3A01.586776Z>; rel=next

如何在 ADF 的分页规则中实现上述内容以获取下一页信息？我目前已将规则定义为： ADF Pagination Rules 但它没有访问任何新信息。没有错误信息只是仍然只有第一页。

感谢大家的指点，

【问题讨论】：

标签： azure azure-devops meraki-api

【解决方案1】：

我知道这篇文章有点老了，但我想我会为其他人发表评论。

我发现在处理符合的响应时，如果您什么都不做，datafactory 将处理分页。即将分页规则留空。这会将"paginationRules": {"supportRFC5988": "true"} 添加到源Json。

我已经对此进行了测试并验证它可以读取所有页面。

【讨论】：