如何阻止 Google 访问受保护的内容

Question

我非常担心，因为 Google 以某种方式将我网站上的一个页面编入索引，该页面本应受到保护，以使其对未登录的用户不可见。

通过读取包含用户会话哈希的 cookie 来保护页面。如果散列解密给有效用户，则显示该页面。如果没有，服务器会返回一个 http 错误 401（拒绝访问）。

在 Google 索引的页面上，我已验证（使用隐身窗口）正确返回了 401 错误并且没有显示任何数据。然而，谷歌不知何故能够阅读它，因为它的搜索结果中显示了一个标题。

但我真的很困扰 Google 能够阅读此内容。我能想到的唯一可能是他们从具有合法访问权限的登录用户的浏览器中抓取了该页面，或者至少使用了他们的 cookie。

我已经在标题中添加了额外的一行：

<meta name='robots' content='noindex,nofollow'>

我真的不知道这是否会有所帮助。

我是否应该采取任何其他措施来最大程度地防止 Google 将本应禁止的内容编入索引？有什么好的方法可以测试页面以确保它对 Google 不可见？

（顺便说一句，我没有包含 URL，因为相关页面很快就会被批准，因此可以合法查看）

Answer 1

我认为谷歌索引的不是页面本身，而是其他页面指向它的链接。