【问题标题】:How to use proxy with basic crawler in apify如何在 apify 中使用代理和基本爬虫
【发布时间】:2021-04-20 07:20:48
【问题描述】:

我在 apify 中使用基本爬虫,我该如何使用代理。基本爬虫中没有代理选项还是有其他方式使用代理?

【问题讨论】:

    标签: apify


    【解决方案1】:

    基本爬虫基本上只是一个爬虫框架,没有自己的资源请求能力,所以如果你想确定使用它,那么你需要使用一些 3rd 方请求库从handleRequestFunction 中手动执行请求节点。然后你可以在库选项中指定代理。

    如您所见,与其他爬虫不同,基本爬虫选项中没有代理配置:https://sdk.apify.com/docs/typedefs/basic-crawler-options

    如果您希望它自己执行请求,您可以使用另一个爬虫,您可以在爬虫的选项中指定代理:

    https://sdk.apify.com/docs/api/cheerio-crawler

    https://sdk.apify.com/docs/api/puppeteer-crawler

    【讨论】:

      【解决方案2】:

      @vasek-tobey-vicek 上面回答的内容是有效的。但作为实施指南:

      1. 您应该使用Apify.createProxyConfiguration 创建代理配置

      2. 创建您的 proxyUrl,例如:const proxyUrl = proxyConfiguration.newUrl();,您还可以在其中使用您的 sessionId

      3. 在您的请求库中使用proxyUrl

        例如:如果您使用 Apify 提供的 utils.requestAsBroswer,您可以在提供的选项中提供 proxyUrl 属性

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2014-06-16
        • 2019-11-07
        相关资源
        最近更新 更多