我想禁止 robots.txt 中的 header.php 被编入索引。 文件地址：
https://example.com/header.php
但我不确定什么是正确的：
Disallow: /header.php
或
Disallow: header.php
【问题讨论】：
标签： .htaccess robots.txt
robots.txt 中指定的 URL 路径应始终以斜杠开头（即根相对路径）。
来自Google's robots.txt specification：
[path] 值（如果指定）将从为其提取 robots.txt 文件的网站的根目录查看（使用相同的协议、端口号、主机和域名）。 路径值必须以“/”开头表示根。路径区分大小写。
所以，你应该写：
Disallow: /header.php
但是，这会阻止抓取，如果链接到此 URL，它不一定会阻止 索引。虽然，我怀疑这只是一个 HTML 片段（？），所以在这种情况下阻止抓取是要做的事情。 （但请注意，如果您有许多 includes，那么它们最好包含在子目录中并简单地阻止子目录。）
在上线之前测试Google's robots.txt tester 中的robots.txt 文件。
【讨论】：