【问题标题】:Robot.txt special chracters disallowRobot.txt 特殊字符不允许
【发布时间】:2014-01-27 14:17:11
【问题描述】:

示例链接 upload.php?id=46。我想禁止所有链接,即 id=1,2,3 如何使用特殊字符来做到这一点

这对我有用吗?

disallow:/upload.php?id=*

【问题讨论】:

    标签: robots.txt


    【解决方案1】:

    您的示例适用于主要搜索引擎,但最后的 * 是不必要的,并且会导致不支持通配符的旧机器人忽略该行。 Disallow 指令的基本意思是“阻止任何以下列开头的内容”。将通配符放在末尾是多余的,并且对匹配的内容没有影响。通配符不是原始 robots.txt 规范的一部分,因此并非所有机器人都支持它们。所有主要的搜索引擎都这样做,但许多较旧的机器人却没有。 以下内容与您的示例完全相同,但没有通配符:

    User-agent: *
    Disallow: /upload.php?id=
    

    【讨论】:

      【解决方案2】:

      为什么不在upload.php 文件中使用标题? IE。放:

      header("X-Robots-Tag: noindex, nofollow", true);
      

      在upload.php 的顶部。如果您使用 Apache 来提供文件,您还可以在配置文件中设置基于规则的标头。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-02-08
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2020-05-25
        相关资源
        最近更新 更多