【问题标题】:How to pass any URL to an APIFY task?如何将任何 URL 传递给 APIFY 任务?
【发布时间】:2020-02-14 07:32:33
【问题描述】:

在 APIFY 中有一个用于配置“起始 URL”的框,但是如果我不知道起始 URL 并且这取决于我的用户输入会怎样?我希望能够将变量 URL 传递给“起始 URL”

APIFY 中起始 URL 的配置:

我想通过 APIFY 任务自动传递任何 URL,然后将其废弃。

我尝试通过 Zapier 自动完成,在配置中可以选择 URL 输入并将其传递给 APIFY,但最后它停止了任务,因为无法读取传递的格式。 Zapier 的数据输出日志:

我认为 APIFY 可能允许配置动态输入 URL,但就我的初学者水平而言,可能有一些东西是我所知道的。

我希望能够传递变量 URL 以被 APIFY 抓取。

【问题讨论】:

  • “报废” - 你的意思是报废它(如从中提取数据)还是“报废”它如像垃圾一样扔掉?

标签: web-scraping zapier apify


【解决方案1】:

您可以使用输入配置顶部的编辑器/JSON 切换器检查输入在 JSON 格式中的外观。

切换到 JSON 后,您可以轻松检查 startUrls 的结构。 如果您想覆盖 startUrls,例如在 Zapier 集成中,您可以使用 Run Task ApifyZapier 操作中的 Input JSON overrides 字段来实现。 您可以使用 API to run the task 以相同的方式覆盖输入,您需要将 JSON 作为 API 请求的 POST 负载传递。

如果您想了解更多关于 ApifyZapier 集成的信息,您可以查看文章 Scrape single URL using Zapier

【讨论】:

  • “Scrape single URL using Zapier”的链接是我解决这个问题的关键,非常感谢!
  • 没问题,乐于助人!
猜你喜欢
  • 2016-02-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-08-23
  • 2018-10-19
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多