【问题标题】:How to proceed with query automation using Import.io如何使用 Import.io 进行查询自动化
【发布时间】:2023-03-30 20:20:01
【问题描述】:

我已使用 Import.io 中的 Extractor 工具成功创建了一个查询。它完全符合我的要求,但是我现在需要每天运行一次或两次。 Import.io 作为 API 的目的是允许我使用自己的应用程序构建逻辑,例如数据存储和计划任务(一天多次运行查询),还是有办法计划查询和利用长期存储我的结果完全在 Import.io 服务中?

我很高兴创建一个 Laravel 或 Rails 应用程序来向 API 发出请求并将信息存储在其他地方,但如果我这样做是在重新发明轮子并且它们提供了解决这个问题的方法,那么这是一个真正的时间保护程序。

【问题讨论】:

    标签: import.io


    【解决方案1】:

    感谢您使用新论坛!是的,我们已将其移至 Stack Overflow 以最大化社区氛围。

    目前,Import 无法安排抓取。然而,这是我们将在不久的将来推出的东西。

    目前,可以将 Cron 作业设置为在您指定时运行。

    【讨论】:

    • 谢谢梅格!所以 import.io 中有一个 cron 作业选项?
    • 我调查了一下,我想我明白你的意思了。似乎很多用户在本地或在将定期执行某些任务的服务器上设置 cron 作业。 Import.io 本身似乎不可用。
    • 您好,不,目前我们不通过 Import 提供。不过,这将有所改变。是的,我通常在本地设置一个 cron 作业并以这种方式运行。
    【解决方案2】:

    如果您使用免费版本,另一种解决方案是使用 travis 或 jenkins 等 CI 工具来安排您的 API 脚本。 您可以实时查询提取器,因此您不需要每次都手动运行它们。这将从您的限制中消耗您的一个请求。

    您可以使用的端点是:

    https://extraction.import.io/query/extractor/extractor_id?_apikey=apikey&url=url
    

    不幸的是,该脚本不会是一个非常简单的脚本,因为大多数网站对 import.io 的响应结构都非常不同,而且您可能已经知道,该工具的高级版本现在提供了调度功能。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-07-27
      • 1970-01-01
      • 2010-11-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多