【发布时间】：2018-02-11 21:43:59
【问题描述】：
使用 Options -Indexes 设置 htaccess 文件会阻止蜘蛛和搜索引擎抓取这些目录中的文件吗？
仅仅在目录中包含 index.html 或 index.php 是否会阻止目录被抓取？
【问题讨论】：
【发布时间】：2018-02-11 21:43:59
【问题描述】：
答案：
设置带有
Options -Indexes的 htaccess 文件会阻止蜘蛛和搜索引擎抓取这些目录中的文件吗？
不，它不会阻止所有的蜘蛛和爬虫等，因为Options -Indexes 只会在默认的index 文件不存在于目录中时阻止目录列表。
仅仅在目录中包含 index.html 或 index.php 是否会阻止目录被抓取？
是的，当在这样的 Web 请求中请求目录时，您需要使用 index.php 或 index.html 和适当的 DirectoryIndex 指令将该索引文件设置为默认文件：
DirectoryIndex index.php index.html
这使index.php成为默认索引文件，如果不存在则index.html将被用作默认值。
【讨论】：
-
如果设置了 Options -Indexes 并且没有 DirectoryIndex 文件，了解蜘蛛/爬虫如何获取目录列表会很有趣。
-
蜘蛛只能跟随链接，因此目录列表不会被爬虫缓存，但其他文件可以通过跟随链接索引。