【发布时间】：2014-02-22 04:42:11
【问题描述】：
我想知道这段代码是否不允许每个搜索引擎扫描我的目录。
User-agent: *
Disallow: /
此代码是否也使用新的 htlm 5 协议进行了更新？
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
真的有用还是不再需要？
【问题讨论】：
标签： search-engine meta-tags robots.txt
【发布时间】：2014-02-22 04:42:11
【问题描述】：
不，它只会阻止那些遵守 robots.txt 协议的人（存在故意不遵守 robots.txt 以查找“隐藏”内容的搜索引擎）。
但是，它会阻止普通消费者使用的绝大多数搜索引擎看到它。
【讨论】：
-
非常感谢，今天放个robot.txt真的有用吗？