Cloudflare 边缘缓存忽略爬虫

Question

我已设置边缘缓存来缓存 HTML 内容。当资源被浏览器或通过 Curl 访问时，它工作得很好。在这两种情况下，第一个请求都会预热缓存，而第二个请求则直接从 Cloudflare 提供。

不过，通过我的日志，我注意到 Bing、Yahoo 和 Google 等爬虫似乎不会加热缓存。

当我访问浏览器中的爬虫或通过 Curl 访问的 url 时，后续请求也会访问我的源服务器（根据我的服务器日志）。

这是计划大小（常规与企业）、错误配置还是 Cloudflare 特例爬虫用户代理的问题？

Answer 1

如果您的网站不是从 Google 通常抓取的位置访问的，则 CloudFlare 缓存中可能不温暖。

您可能会从 CloudFlare 中的 setting a higher Edge Cache Expire TTL 中看到一些好处，具体取决于搜索引擎抓取您网站的频率；为此，您需要use CloudFlare's Page Rules。

如果您想要更多定制的东西，最好联系CloudFlare's Enterprise Sales team。