【问题标题】:Optimal Configuration for Disgusing Identity of Scraping刮痧伪装身份的最优配置
【发布时间】:2009-09-22 04:12:36
【问题描述】:

我正在运行一堆从网站上抓取数据的脚本。由于我不会让您感到厌烦的原因,我不能在同一个主机上运行它们——相反,我需要设置六个不同的主机。我想配置我的主机设置来掩盖所有六台主机都拥有相同所有者的事实。

我已经获得了六个不同的共享主机帐户,它们位于不同的地理位置。还有什么我需要做的吗?是否应该为每个主机购买不同的域名?如果不是,我应该为每个主机分配什么域?

【问题讨论】:

  • 我觉得这些理由不会让我感到厌烦。
  • 只是一个建议,但如果您能提供道德理由说明您为什么这样做,您可能会收到更多回复。
  • 您是否检查过网站所有者是否有可供您使用的公共 API?
  • 是的,很遗憾他们没有 API,但感谢您的建议。

标签: hosting screen-scraping ip-address domain-name


【解决方案1】:

您可以设置TOR 的多个实例,为每个实例配置一个单独的控制端口,然后在一台计算机上运行您的抓取,每个实例都使用单独的 TOR。这将使每个 HTTP 请求都跳过不同的代理链,因此当它们到达所需的站点时,它们将来自一个唯一的 IP。

【讨论】:

  • 很有趣,谢谢。我会检查 TOR。只是为了确认 - 域名在这里无关紧要,对吧? IP 地址是检测目的的全部?
猜你喜欢
  • 2020-03-14
  • 1970-01-01
  • 1970-01-01
  • 2016-01-25
  • 2022-08-20
  • 2022-01-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多