添加 robots.txt 并隐藏它的正确方法？

【问题标题】：Correct way to add robots.txt and hide it?添加 robots.txt 并隐藏它的正确方法？
【发布时间】：2010-12-12 09:42:50
【问题描述】：

我的主机上有一个秘密文件夹，访问者可能看不到。我在htdocs 中添加了robots.txt：

User-agent: *
Disallow: /super-private/

但是，如果访问者转到http://example.com/robots.txt，他可以看到私人文件夹的名称。有什么可做的吗？ Htaccess 可能吗？

【问题讨论】：

【解决方案1】：

robots.txt 不是这里的解决方案。它所做的只是告诉搜索引擎蜘蛛等特定的 URL 不应被索引；它不会阻止访问。

将.htaccess 文件放入super-private，其中包含以下内容：

Deny From All

完成此操作后，就不需要robots.txt，因为无论如何它都将无法访问。如果您想允许某些人访问，请查看authentication with .htaccess。

【讨论】：

【解决方案2】：

不要在robots.txt 中提及此私人文件夹。然后简单地用.htaccess禁止访问它：

deny from all

此外，如果在其他页面中没有指向此 super-private 文件夹的链接，机器人永远不会知道它是否存在，但如果永远不应从客户端直接访问此文件夹，则禁止访问是一件好事。

【讨论】：