消除昂贵的后端系统调用和 SEO

Question

我们有一个网站，它对后端系统进行昂贵的调用以显示产品可用性。我想消除这些对不是实际客户的页面视图的调用。我的第一个想法是过滤用户代理，如果请求者是蜘蛛/搜索引擎爬虫，则显示“呼叫可用性”或一些此类消息（如果后端系统关闭，我们将显示相同的消息）维护或一般不可用），而不是调用后端系统以获得真正的可用性。

在与人们的讨论中，人们似乎非常担心可用性图标（请注意，是一个非常小的图标）在被抓取时与用户查看或请求页面时不同 - 我们可能会因此受到处罚隐藏搜索引擎。

由于我们显示的信息是一个非常小的图像图标，而且我们不会为搜索引擎和实时用户提供截然不同的内容，我真的不认为隐藏是一个问题 - 但我想获得一些外部视角。

当页面的整体内容没有改变时，是否可以为搜索引擎模拟“信息不可用”的场景，或者它在某种程度上仍然符合伪装的条件？

Answer 1

您为什么不使用 javascript / ajax 制作您正在显示的“信息”。这样，当页面通过不支持 JavaScript 的浏览器（例如搜索引擎蜘蛛）加载时，就不会进行这种“昂贵的调用”。

或者，您可以将此信息放在页面上的 IFRAME 中。并排除通过 robots.txt 或 META / robots tag 将 IFRAME 中显示的页面编入索引。

这两种方法都完全是“白帽”，尽管我认为第二种方法更是如此。