Scrapy - 设置 TCP 连接超时

Question

我正在尝试通过 Scrapy 抓取网站。但是，该网站有时非常慢，浏览器中的第一次请求响应需要将近 15-20 秒。无论如何，有时，当我尝试使用 Scrapy 抓取网站时，我不断收到 TCP 超时错误。即使该网站在我的浏览器上打开得很好。这是消息：

2017-09-05 17:34:41 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://www.hosane.com/result/spec
ialList> (failed 16 times): TCP connection timed out: 10060: A connection attempt failed because the connected party di
d not properly respond after a period of time, or established connection failed because connected host has failed to re
spond..

我什至覆盖了USER_AGENT 设置进行测试。 我认为DOWNLOAD_TIMEOUT 设置在这种情况下不起作用，因为它默认为 180 秒，而 Scrapy 甚至不需要 20-30 秒就给出 TCP 超时错误。

知道是什么导致了这个问题吗？有没有办法在 Scrapy 中设置 TCP 超时？

Answer 1

TCP connection timed out 可能发生在 Scrapy 指定的 DOWNLOAD_TIMEOUT 之前，因为实际的初始 TCP 连接超时由操作系统定义，通常根据 TCP SYN 数据包重新传输。

默认情况下，在我的 Linux 机器上，我有 6 次重传：

cat /proc/sys/net/ipv4/tcp_syn_retries
6

在实践中，对于 Scrapy 来说，这也意味着 0 + 1 + 2 + 4 + 8 + 16 + 32 (+64) = 127 seconds 在收到 Twisted 的 twisted.internet.error.TCPTimedOutError: TCP connection timed out: 110: Connection timed out. 之前。 （这是最初的尝试，然后在每次重试之间进行指数退避，并且在第 6 次重试后没有收到回复。）

例如，如果我将 /proc/sys/net/ipv4/tcp_syn_retries 设置为 8，我可以验证我是否收到了这个：

User timeout caused connection failure: Getting http://www.hosane.com/result/specialList took longer than 180.0 seconds.

那是因为0+1+2+4+8+16+32+64+128(+256) > 180。

10060: A connection attempt failed... 似乎是 Windows 套接字错误代码。如果要将 TCP 连接超时更改为至少 DOWNLOAD_TIMEOUT，则需要更改 TCP SYN 重试计数。 （我不知道如何在您的系统上执行此操作，但 Google 是您的朋友。）