从 import.io 列出提取器答案

【问题标题】：Listing extractors from import.io从 import.io 列出提取器
【发布时间】：2016-07-18 09:16:46
【问题描述】：

我想知道如何从我的 import.io 提取器中获取抓取数据（通过 GUI 手动输入的 URL 列表）。 API 文档非常稀缺，它没有指定我发出的 GET 请求是实际启动爬虫（并消耗我的爬虫可用运行之一）还是只是查询手动启动的爬虫的结果。

我也想知道如何获取连接器 ID，据我了解，提取器只不过是一个专门的连接器，但是当我使用 extractor_id 作为连接器 ID 来查询 API 时，我得到了连接器不存在。

我认为我可以在一个提取器中列出我拥有的 URL 的一种方式是：

https://api.import.io/store/connector/_search?

_sortDirection=DESC&_default_operator=OR&_mine=true&_apikey=123...

但我得到的唯一结果是：

{ "took": 2, "timed_out": false, "hits": { “总计”：0， “命中”：[]， “最大分数”：0 } }

尽管如此，即使我会得到更完整的响应，我在文档中看到的示例结果也没有提到任何类型的列表或元素，其中包含我试图从 import.io 帐户获取的 URL。

我正在使用 python 来创建这个 API

【问题讨论】：

【解决方案1】：

旧版 API 不适用于任何非旧版连接器，因此您必须使用新的 Web Extractor API。不幸的是，没有这方面的文档。

幸运的是，通过一些窥探，您可以找到以下调用来列出连接到您的 apikey 的连接器：

https://store.import.io/store/extractor/_search?_apikey=YOUR_API_KEY

从这里，您检查每个命中并验证 _type 属性是否设置为 EXTRACTOR。这将使您能够访问与提取器关联的 GUID 以及您在创建它时为其选择的名称等。

然后您可以执行以下操作，以 CSV 格式从提取器下载最新运行：

https://data.import.io/extractor/{{GUID}}/csv/latest?_apikey=YOUR_API_KEY

这可以在每个 Web Extractor 的 Integrations 选项卡中找到。那里还有其他查询。

希望这会有所帮助。

【讨论】：