【问题标题】:Getting Bulk Extraction in the import.io API via HTTP in Java通过 Java 中的 HTTP 在 import.io API 中获取批量提取
【发布时间】:2016-03-25 21:21:47
【问题描述】:

问题是,我正在使用this 链接上的信息以及一些关于http 发布的提示,以便在import.io 中获取Extractor 的一些数据。如果我能够通过批量提取而不是创建循环并发送数千个缓慢的请愿书来获取数据,那就更好了。

事实上,要获取任何数据,在“GET /store/connector/{id}/_query”中,我必须在“输入”部分使用 webpage/url:link .

我一直在想是否有任何命令可以让我进行批量提取?我确实有关于能够在具有高级设置的爬虫中触发 HTTP 请求的相同问题,但到目前为止还没有必要。

谢谢!

【问题讨论】:

    标签: java http-post import.io


    【解决方案1】:

    似乎没有通过 API 进行批量提取的方法。

    批量提取通过执行您上面提到的操作(循环和发送数千个慢速请求)但在 UI 中起作用。在您下载之前,它不会将其存储在浏览器中的任何位置。

    关于你的第二个问题;如果您使用的是命令行爬虫,则可以通过 HTTP 发送爬虫数据。看this answer

    【讨论】:

    • 是的,我向 import.io 寻求帮助,这与我得到的答案基本相同。感谢您的帮助!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-09-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-02-14
    • 2013-04-13
    相关资源
    最近更新 更多