【发布时间】：2012-10-09 20:07:46
【问题描述】：
我需要向所有蜘蛛机器人隐藏我的所有网站页面，除了应该从机器人解析的主页 (www.site.com)。
有谁知道我该怎么做？
【问题讨论】：
标签： url hide robots.txt web-crawler
【发布时间】：2012-10-09 20:07:46
【问题描述】：
添加到所有你不想索引标签<meta name="robots" content="noindex" />的页面
或者您可以在您的文档根目录中创建robots.txt 并在其中放置如下内容：
User-agent: *
Allow: /$
Disallow: /*
【讨论】：