如何处理我的 CakePHP 应用程序的 robots.txt？

Question

我在我的实时 CakePHP 网络应用程序中获得了以下信息：

2014-02-18 04:06:00 Error: [MissingControllerException] Controller class Robots.txtController could not be found.
Exception Attributes: array (
  'class' => 'Robots.txtController',
  'plugin' => NULL,
)
Request URL: /robots.txt

我该怎么办？

我使用的是 CakePHP 2.4.2

更新：

这是我的 robots.txt。还有什么我应该补充的吗？我把它放在webroot。

User-agent: *
Disallow: /admin/

Answer 1

将 robots.txt 复制到 /app/webroot/ 目录中。

Answer 2

您收到错误消息的原因是 Bot 或其他软件正在请求该文件，而 CakePHP 找不到它，因为它不存在。现在您已经创建了 robots.txt，您应该不会收到错误消息。您可以通过以下方式自行检查：

http://www.example.com/robots.txt

我可能会删除 /admin/，不想宣传你的后端在哪里！

robots.txt 文件中类似以下的简单文本就足够了，如果您没有站点地图，请删除对站点地图的引用：

User-agent: *
Disallow:

Sitemap: http://www.example.com/sitemap.xml

希望对您有所帮助。

Answer 3

您可能需要编辑 .htaccess 文件（或 /etc/lighttpd/lighttpd.conf 或类似文件，具体取决于您使用的网络服务器）以忽略 /robots.txt 的 url 重写。您必须已经设置好您的网络服务器以将请求传递给 CakePHP，但遗憾的是它会将 robots.txt 的请求传递给 CakePHP。您需要将您的网络服务器配置为不重写 /robots.txt 请求的 url，而是读取文件的内容。

编辑：请记住，我对 nginx 一无所知，但可以试试这样的东西；

server {
    listen 80;
    client_max_body_size 5M;
    server_name example.com;
    root /var/virtual/example.com/webroot;
    include common.conf;
    include php.conf;

    if (!-e $request_filename) {
        rewrite ^/(.+)$ /index.php?url=$1 last;
        break;
    }
}