【发布时间】：2021-06-22 09:32:23
【问题描述】：
我尝试从返回 8 MB 响应数据的 API 获取数据。 我创建了 Azure 数据工厂管道并使用 Web 活动来获取 API 响应数据。配置完成后运行管道，返回Error“执行输出的长度超出限制（目前约为4MB）”
谁能帮我解决一下如何处理网络活动中的大尺寸响应数据？
【问题讨论】：
标签： azure azure-data-factory azure-data-factory-pipeline
【发布时间】：2021-06-22 09:32:23
【问题描述】：
解决方法是使用ForEach activity，你需要对你的rest api使用分页查询，并且每次返回有限数量的数据。然后循环查询你的数据，直到返回数据的数量低于阈值。
来源 - Web activity throws overlimit error when calling rest api
【讨论】：
-
感谢您的回复，但我使用的是不包含分页的 REST API，因此它每次都会返回大量数据，我必须在最后处理它，就像在 AAD 网络活动中一样或 AAD 中的任何其他内容