将 robots.txt 重定向到 php 页面

Question

我有一个系统可以在一个文件结构下处理多个域，每个域都需要不同的站点地图和 robots.txt。

对于站点地图，我设置了重定向，我知道它运作良好。我想确认 robots.txt 也可以这样做？

我在 .htaccess 中添加了一个重写规则，将人员重定向到 php 页面。在这个 php 页面上，我找到了域用户拥有的内容并打印出带有文本标题的正确信息。

这是否允许？

额外信息：

我有一个由 domainA 和 domainB 使用的 codeigniter 应用程序。 domainA 应该看到 domainA 的 robots，domainB 应该看到 domainB 的 robots。如果我要在站点的根目录中创建 robots.txt，则 domainA 和 domainB 都可以访问它，因为我创建了一个单独的 php 页面来为 domainA 和 B 提供正确的机器人。

在 .htaccess 中，我有一个类似的重写规则：

RewriteRule   ^robots.txt$ func/getRobots/$1 [L]

---

环顾四周后，我能够确定其他人这样做： http://www.aberdeencloud.com/docs/guides/how-use-different-robotstxt-development-and-live-environments

.htaccess and robots.txt rewrite url how to

https://webmasters.stackexchange.com/questions/61654/redirect-google-crawler-to-different-robots-txt-via-htaccess

我只是想确保它不会损坏系统的 SEO 方面。

Answer 1

当搜索引擎根本无法访问您的robots.txt 时，您会损害您的 SEO。

不使用有关您的robots.txt 位置的标准做法等同于冒险。一些搜索引擎可能会很好地处理您的案件，而其他搜索引擎可能会皱眉并觉得可疑。

在您提到的其中一个链接中，建议使用solution 以避免重写 URL。我会坚持下去的。