如何隐藏我的 IP 在 python 中进行网络抓取？

Question

我在某些页面中使用 python 进行网页抓取，但我已被其中一些页面阻止。当我尝试通过 TOR 浏览器检查它时，我发现我也无法访问这些页面，所以我认为这些页面已经能够跟踪我所有的 IP，或者我没有配置好 TOR（我认为不是因为我用 Chrome 和 TOR 检查了我的 IP 地址并且不同），所以，有人知道为什么吗？

另外，我正在尝试在我的 python 代码中执行一个函数或方法来自动更改 mi IP。我所看到的是最好的方法是通过 TOR 浏览器（使用它作为搜索引擎从页面获取数据）来完成，但我无法让它工作。你对创建这个函数有什么建议吗？

谢谢！

Answer 1

我希望防刮保护也能阻止来自已知 Tor 出口节点的访问。我不认为他们知道是你。一些网站雇用/实施最先进的刮擦保护服务。

您可以在朋友和家人处设置自己的代理，并使用非常保守的抓取速度，或者搜索商业住宅代理产品。