RequestQueue 的 timeoutSecs 忽略用户配置？

【问题标题】：timeoutSecs for RequestQueue ignoring user config?RequestQueue 的 timeoutSecs 忽略用户配置？
【发布时间】：2022-10-25 07:03:11
【问题描述】：

我像这样使用 RequestQueue：

    const requestQueue = await RequestQueue.open();
    requestQueue.timeoutSecs = 60;
    await requestQueue.addRequest(...);

但是在运行刮刀时，我仍然看到默认超时：

WARN  CheerioCrawler: Reclaiming failed request back to the list or queue. request timed out after 30 seconds.

【问题讨论】：

标签： crawlee

【解决方案1】：

添加请求是在逻辑上将请求数据添加到内部列表，换句话说，您不会通过将其添加到队列来执行实际请求，爬虫基于提供的队列（列表）完成来自队列的请求，并且当爬虫执行请求时应用超时。查看完整示例：https://crawlee.dev/docs/introduction/adding-urls

【讨论】：