【发布时间】:2021-04-20 07:20:48
【问题描述】:
我在 apify 中使用基本爬虫,我该如何使用代理。基本爬虫中没有代理选项还是有其他方式使用代理?
【问题讨论】:
标签: apify
我在 apify 中使用基本爬虫,我该如何使用代理。基本爬虫中没有代理选项还是有其他方式使用代理?
【问题讨论】:
标签: apify
基本爬虫基本上只是一个爬虫框架,没有自己的资源请求能力,所以如果你想确定使用它,那么你需要使用一些 3rd 方请求库从handleRequestFunction 中手动执行请求节点。然后你可以在库选项中指定代理。
如您所见,与其他爬虫不同,基本爬虫选项中没有代理配置:https://sdk.apify.com/docs/typedefs/basic-crawler-options
如果您希望它自己执行请求,您可以使用另一个爬虫,您可以在爬虫的选项中指定代理:
【讨论】:
@vasek-tobey-vicek 上面回答的内容是有效的。但作为实施指南:
您应该使用Apify.createProxyConfiguration 创建代理配置
创建您的 proxyUrl,例如:const proxyUrl = proxyConfiguration.newUrl();,您还可以在其中使用您的 sessionId
在您的请求库中使用proxyUrl。
例如:如果您使用 Apify 提供的 utils.requestAsBroswer,您可以在提供的选项中提供 proxyUrl 属性
【讨论】: