【问题标题】:Should I use proxy while dealing with other domains?我应该在处理其他域时使用代理吗?
【发布时间】:2019-01-15 17:59:08
【问题描述】:

我看到资源提到在抓取网站时使用代理,我一直在使用纯 PHP 和一些 PHP 库。

例如:

file_get_contents('http://example.com');

或使用 CURL:

$url = "http://example.com";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
$response = curl_exec($ch);
curl_close($ch);

有一段时间我没有遇到严重的问题,只是有时我从file_get_contents 收到一些错误,但之后它什么也没做。

我应该在这样做的时候使用代理吗?

如果是这样,我如何获得代理?

【问题讨论】:

标签: php curl web-scraping proxy file-get-contents


【解决方案1】:

老实说,代理没问题,但我做了一个 AliExpress-scraper,但它需要 VPN,因为使用代理我仍然被阻止,我不得不一直更改它。 VPN 是更好的选择,有一些免费的 VPN here

【讨论】:

  • 我已经做了一段时间了,我没有使用vpn或代理,但它并没有停止工作
  • 我认为如果您被阻止使用VPN,请先使用代理尝试流量,但请确保不要使用您自己的网络,这并不危险,但如果他们阻止您会感到难过和焦虑你:)
猜你喜欢
  • 1970-01-01
  • 2019-10-13
  • 2016-09-05
  • 1970-01-01
  • 1970-01-01
  • 2022-11-07
  • 2010-09-30
  • 2020-09-21
  • 1970-01-01
相关资源
最近更新 更多