Drupal robots.txt disallow 是否仍会记录在 apache 日志文件中？

Question

我在 robots.txt 中为我的 Drupal 网站的特定代理设置了一些规则。

我有一个问题。当此代理尝试访问该网站时，此访问是否仍会记录在我的 apache access_log 文件中？

Answer 1

robots.txt 中的Disallow 在技术上并未阻止用户代理访问您的网站。每个用户代理决定是否要遵守您的 robots.txt。

默认情况下，Drupal 不对您的 robots.txt 文件的内容做任何事情，并且 robots.txt 内容根本不会影响您服务器的日志。