尽管 robots.txt 配置正确，但网站仍显示在 Google SERP 上

Question

我有一个 ExpressJS Web 应用程序，用于内部用途，我不希望 Google 为其编制索引。所以我实现了以下路线：

app.get('/robots.txt', function(req,res) {
    res.set('Content-Type', 'text/plain');
    res.send('User-agent: *\nDisallow: /');
}

我通过点击 URL 并检查响应来验证它工作正常，这是

User-agent: *
Disallow: /

尽管如此，当我搜索网站标题时，我可以在 Google 上看到我的页面结果。该应用程序已上线一年左右，因此无法缓存结果。发生这种情况还有其他可能的原因吗？有什么方法可以解决吗？

Answer 1

https://webmasters.stackexchange.com/questions/54879/does-google-ignore-robots-txt

Google 仍会看到被 robots.txt 屏蔽的网站，甚至可能会在搜索结果中列出这些网站。

当整个域/子域被阻止时尤其如此。 Google 将列出这些链接以及文本 A description for this result is not available because of this site's robots.txt – 通过https://support.google.com/webmasters/answer/156449 的链接了解更多信息。

在您的页面输出中添加<meta name="robots" content="noindex, nofollow">。

编辑 来自 cmets 的讨论：

如果您允许包含 robots.txt 的网页，但使用元标记阻止将其编入索引，Googlebot 将访问该网页，读取元标记，然后不将其编入索引。

所以为了防止谷歌抓取你的网站：在 robots.txt 中使用拒绝，不需要元标记。
如果有指向您网站的外部链接：在 robots.txt 中使用 allow，在出现在 google 中的那些页面上使用 noindex，nofollow。

如何轻松查看谷歌在你身上有哪些网页：

使用site:stackoverflow.com作为搜索查询，谷歌将基本上列出它已索引的该网站的所有页面。

要详细了解 Google 如何抓取您的网页： https://support.google.com/webmasters/topic/4617736?hl=en&ref_topic=4589290

另外，请记住，谷歌并不是唯一的搜索引擎。有 bing、yahoo、baidu 和大量其他搜索引擎，但并非所有搜索引擎都能很好地使用元标记或 robots.txt，有些甚至假装是另一个搜索引擎，这样他们的抓取不会被阻止。