<meta name="robots"> 不工作

Question

我有一个页面：

https://www.luckycheckout.com/goto/282/cs/1?ct=1

head 部分包含以下代码行：

<meta name="robots" content="noindex, nofollow" />

我的“robots.txt”文件中还有“Disallow: /goto”。

但是，尽管如此，Google Search Console 仍抱怨该页面是：

已编入索引，但已被 robots.txt 阻止

据我所知，一切都是有效和正确的，不应该被编入索引，有人能解释一下谷歌在抱怨什么吗？

谢谢

Answer 1

您需要在robots.txt 文件中删除此站点的Disallow：

当 Googlebot 下次抓取该页面并看到标签或标题时，无论其他网站是否链接到该页面，Googlebot 都会将该页面完全从 Google 搜索结果中删除。

重要提示：要使 noindex 指令生效，该页面不得被 robots.txt 文件阻止。如果页面被 robots.txt 文件阻止，爬虫将永远不会看到 noindex 指令，并且该页面仍然可以出现在搜索结果中，例如如果其他页面链接到它。
来源：强>https://support.google.com/webmasters/answer/93710

---

您还可以使用 Google Search Console 从 Google 索引中删除您拥有的网站。您可以在Google Webmaster documentation 上找到更多信息。