【发布时间】:2016-09-05 20:11:15
【问题描述】:
有没有办法让任何搜索引擎都无法搜索作为简历的网页?
目的是只与知道链接的人共享页面。
【问题讨论】:
-
放入 Dropbox 并分享链接。
有没有办法让任何搜索引擎都无法搜索作为简历的网页?
目的是只与知道链接的人共享页面。
【问题讨论】:
还有更多点,我更愿意全部应用:
正如丹尼尔在他的回答中所说:
1)在您的网站位置http://example.com/robots.txt
User-agent: *
Disallow: /
这意味着:对于所有机器人/爬虫,不允许索引任何 URI 这个位置。
2) 如果 robots.txt 意外跳过或损坏,在您的所有页面的 HTML 源代码中,您可能有:
<!DOCTYPE html>
<html>
...
<head>
<meta name="robots" content="noindex, nofollow" />
</head>
...
</html>
这意味着:如果访问了这个页面,不要索引这个页面,甚至不抓取它的链接 - 换句话说 - 停止并离开这里。
3) 如果您的网站不公开,请在 .htaccess 中创建一个密码,例如使用 Apache。因此,当用户尝试进入该站点时,他需要一个用户名和密码。
4) 如果您的网站以某种方式已被编入索引,并且您想禁用它以供公众搜索,您可以从 Google 的索引中删除这些网址使用谷歌网站管理员工具:
【讨论】:
在您网站的根目录中创建一个名为 robots.txt 的文件,其中包含以下内容:
User-agent: *
Disallow: /
这将阻止所有主要搜索引擎将该网站编入索引。
【讨论】: