【问题标题】:Prevent search engines from indexing script URLs防止搜索引擎将脚本 URL 编入索引
【发布时间】:2012-05-05 23:13:21
【问题描述】:

如何防止搜索引擎将脚本 URL 编入索引,例如:

domain.tld/?[这里是什么]

robots.txt

User-agent: *
Disallow: /?

似乎有效。

但仍允许对主页进行索引。

【问题讨论】:

    标签: robots.txt


    【解决方案1】:

    使用 URL 编码的“?” (%3D)

    User-agent: *
    Disallow: /%3D
    

    来源:http://www.robotstxt.org/norobots-rfc.txt

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-05-17
      • 2017-05-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多