如何在 Python 中使用 VPN 进行网络抓取？

Question

我编写了一个 Python 程序，它使用 Beautifulsoup 对 IMDB 进行网络抓取，以创建一个 mySQL 数据库，其中包含不同类别中所有评分最高的电影的表格。到目前为止，一切都很好。我的问题是我是从挪威做的，而且很多电影片名都被翻译成挪威语。例如，在从挪威 IP 地址打开的 IMDB 顶部列表中，“The Shawshank Redemption”被翻译为“Frihetens Regn”。我想要所有英文标题。是否有一些免费的 VPN，您可以从 Python 激活并与 Beautifulsoup 一起使用？或者有人对此有其他解决方案吗？

Answer 1

我同意使用代理比使用 vpn 效果更好。

但是，如果您想要结果，请不要使用免费代理。如果这是你可以投资的东西，那就找一个体面的付费提供商，否则很可能不会有什么好处，因为你会经常被屏蔽。

Answer 2

您有几个选项，VPN 和代理。

首先，是的，您可以使用 VPN。然而，大多数 VPN 需要整个主机连接才能通过 VPN 建立隧道。那里有一些不错的 VPN 服务，但有时你会得到你所支付的。我会谨慎使用免费 VPN，因为有些人会出售您的网络，而另一些人会出售您的数据。

其次，这可能是最简单的选择。使用代理。您可以通过免费的匿名代理告诉您的爬虫代理流量。您可以从 Google 找到这些免费代理的列表。或者您可以查看ProxyBroker，它会为您找到免费代理。这只需要通过美国 IP 地址而不是整个主机连接来代理爬虫流量。