【发布时间】：2010-12-27 23:45:15
【问题描述】：
我正在使用 asp.net 2010，我想知道如何才能从搜索引擎中完全隐藏特定页面，类似于 Facebook 的安全设置设置方式（例如，如果我搜索我的真实姓名，我的 fb 页面现在将显示在 google 中）。
【问题讨论】：
标签： asp.net facebook .net-4.0 seo security
【发布时间】：2010-12-27 23:45:15
【问题描述】：
为了更加安全，您可以分析用户代理字符串，如果是belongs to a crawler，则返回一个空页面。
【讨论】：
-
我试图解释这是一个坏主意。去买一本像黑客暴露的书：网络应用程序。您基本上是在使用 robots.txt 告诉黑客您想隐藏什么。
-
@nick：如果你想正确地隐藏某些东西，把它放在一些认证和授权之下。您无法隐藏可公开访问的内容。
robots.txt的唯一要点是提示搜索机器人哪些 URL 是错误的，而不是什么是秘密。
借助机器人文本，您可以向搜索引擎隐藏特定页面。它会告诉搜索引擎蜘蛛，您网站的哪些网页应该被索引，哪些网页应该被忽略.. :)
【讨论】：
如果这是一项安全措施，请不要使用 robots.txt。如果你想隐藏某个页面，那么这会告诉攻击者你想隐藏什么。
【讨论】：