抓取后网站错误

Question

我制作了一个简单的刮板，它可以访问专辑，并从 azlyrics.com 刮取每首歌的歌词。

工作大约一个小时后，网站崩溃，出现错误：

铬：

www.azlyrics.com 没有发送任何数据。 ERR_EMPTY_RESPONSE

Tor、火狐、水狐：

连接已重置 在页面加载时，与服务器的连接已重置。

对于我家庭网络上的所有设备都是一样的。如果我使用移动数据通过手机访问它，它工作正常。

我尝试使用 ipconfig /release /renew 修复它，但没有成功。 我不知道我还能做什么，也不知道为什么会发生。任何帮助是极大的赞赏。

Answer 1

显然您的 IP 因可疑活动而被该网站禁止。有几种解决方法：

• 与网站所有者交谈。这是最直接最好的方式
• 更改您的 IP，例如通过公共代理池或 Tor 连接。这有点脏，而且不是那么健壮，例如您可能会被用户代理或您的爬虫的某些其他属性禁止。