【发布时间】:2017-05-15 11:10:13
【问题描述】:
我一直在努力从要求我进行身份验证的 URL 中提取数据,传递页面大小,然后从返回的结果中拉出光标,即光标位于页面的最后一行,然后传递下一页大小直到未找到光标。所有结果的末尾都没有光标,这意味着我将停止传递带有页面大小和光标的 URL。
我使用了 SSIS web task,但它只传递了一次 URL 并获得了只有一个页面大小的结果集。例如 page_size=10 的 10 行。我尝试过使用 C#,但对 C# 了解不多。有人可以帮忙吗?
例如https://{mydomain}.com/dev/api/opportunity?page_size=10
在第 10 条记录中,我将有一个光标,然后必须将其传递给 URL,例如:
https:{domain}.com/dev/api/opportunity?page_size=10&cursor=ABC123xyz
这意味着接下来的 10 条记录。执行相同操作,直到在底部 xml 行中找不到光标。
【问题讨论】:
-
您好,这个问题非常模糊,缺乏回答这个问题所需的很多细节。请阅读help center,特别是How do I ask a good question? 和How to create a Minimal, Complete, and Verifiable example
-
嗨 Liam,不知道你怎么不理解这个问题:我有数据要从 web url 中提取,它返回 xml 数据。所以,第一组结果取决于我提供的页面大小,我不能传递一个大数字来传递所有页面,它会超时,所以我必须分批在 url 上指定页面。在 XML 页面的末尾,此 xml 结果中返回了一个游标名称。然后,我必须使用该游标将其传递到 URL+页面大小,以获取结果集 2,直到找不到游标名称,这将定义记录的结尾。我的问题现在好点了吗?
-
您需要导航到每个页面以获取所有数据。通常我喜欢使用两个浏览器。一个用于主网页,第二个用于浏览所有页面。这样我就有了原始网页,以防主页中的数据与子页面中的数据不同。