所有子域的单个 robots.txt 文件

Question

我有一个网站 (example.com)，并在根目录中设置了我的 robots.txt。我还有多个子域（foo.example.com、bar.example.com 以及将来会出现的更多），它们的 robots.txt 都将与 example.com 相同。我知道我可以在每个子域的根目录放置一个文件，但我想知道是否可以将在任何子域上搜索 robots.txt 的爬虫重定向到 example.com/robots.txt？

Answer 1

不建议为您的 robots.txt 文件发送重定向标头，也不受官方支持。

Google's documentation 特别声明：

未定义且不鼓励处理 robots.txt 重定向到不允许的 URL。

但文档确实说重定向“将通常遵循”。如果您将子域添加到 Google 网站管理员工具并转到“抓取 > 阻止的 URL”，您可以测试您的子域 robots.txts 是 301 重定向。它应该会以积极的方式返回。

不过，话虽如此，我强烈建议您只需将文件符号链接到适当的位置，并且每个 robots.txt 文件都会在相应的 URL 处以 200 OK 响应。这更符合原始 robots.txt 规范以及 Google 的文档，谁知道随着时间的推移 bing / yahoo 将如何处理它。