【问题标题】:Extract XML data from URL with authentication into a SQL table将带有身份验证的 URL 中的 XML 数据提取到 SQL 表中
【发布时间】:2017-05-15 11:10:13
【问题描述】:

我一直在努力从要求我进行身份验证的 URL 中提取数据,传递页面大小,然后从返回的结果中拉出光标,即光标位于页面的最后一行,然后传递下一页大小直到未找到光标。所有结果的末尾都没有光标,这意味着我将停止传递带有页面大小和光标的 URL。

我使用了 SSIS web task,但它只传递了一次 URL 并获得了只有一个页面大小的结果集。例如 page_size=10 的 10 行。我尝试过使用 C#,但对 C# 了解不多。有人可以帮忙吗?

例如https://{mydomain}.com/dev/api/opportunity?page_size=10

在第 10 条记录中,我将有一个光标,然后必须将其传递给 URL,例如:

https:{domain}.com/dev/api/opportunity?page_size=10&cursor=ABC123xyz 这意味着接下来的 10 条记录。执行相同操作,直到在底部 xml 行中找不到光标。

【问题讨论】:

  • 您好,这个问题非常模糊,缺乏回答这个问题所需的很多细节。请阅读help center,特别是How do I ask a good question?How to create a Minimal, Complete, and Verifiable example
  • 嗨 Liam,不知道你怎么不理解这个问题:我有数据要从 web url 中提取,它返回 xml 数据。所以,第一组结果取决于我提供的页面大小,我不能传递一个大数字来传递所有页面,它会超时,所以我必须分批在 url 上指定页面。在 XML 页面的末尾,此 xml 结果中返回了一个游标名称。然后,我必须使用该游标将其传递到 URL+页面大小,以获取结果集 2,直到找不到游标名称,这将定义记录的结尾。我的问题现在好点了吗?
  • 您需要导航到每个页面以获取所有数据。通常我喜欢使用两个浏览器。一个用于主网页,第二个用于浏览所有页面。这样我就有了原始网页,以防主页中的数据与子页面中的数据不同。

标签: c# xml ssis


【解决方案1】:

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-10-29
    • 2019-01-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-07-05
    相关资源
    最近更新 更多