告诉搜索引擎机器人等待

Question

短篇小说：
我的网站根据用户提交的数据预先生成页面，有时这个缓存必须在发生这种情况时被清除，除非我控制了一次生成的统计数据量，否则它会杀死 super computer。

问题：
现在出现了不断访问该网站的搜索引擎机器人（由于页面数量庞大，搜索引擎机器人抓取的相当恒定）。这里的问题是他们会用完我所有的“生成”槽，而真正的用户会看到一个页面，上面写着“bla bla，请稍候”。

可能的解决方案：
我基本上可以将 503 返回给机器人，而不让它们因为网站不稳定而给我负面排名吗？
还是有人提出了其他解决方案？

Answer 1

立即清除缓存有多重要？如果您的缓存支持它，您可以将所有缓存页面标记为“脏”，并在真实用户下次访问时重新生成它们；如果机器人同时访问，则为他们提供陈旧的页面。