【问题标题】:Disallow directory which contains a hash in Robots.txt禁止在 Robots.txt 中包含哈希的目录
【发布时间】:2013-04-10 00:43:43
【问题描述】:

假设您要禁止目录 /#test/(目录名称以哈希开头)

我尝试使用以下线路:Disallow: /#test/

但是,这不起作用,因为在谷歌搜索后,我发现井号 (#) 是为 robots.txt 文件中的 cmets 保留的,其中该行 # 之后的所有内容都将被忽略。

之后我尝试了

Disallow: /\#test/

Disallow: /"#test"/

但那些也没有用。

有人知道我应该使用什么语法吗?

编辑:顺便说一句,我正在使用谷歌网站管理员工具来测试机器人规则是否有效

【问题讨论】:

    标签: indexing web-crawler bots robots.txt google-search-console


    【解决方案1】:

    # 通常用作fragment,因此您可能无法从浏览器访问它。

    那么为什么不Disallow: /%23test/

    【讨论】:

    • 刚刚在网站管理员工具中测试了这个。结果是 Googlebot 允许 /#test/... 中的网址
    • 那你如何访问这个网址呢?
    猜你喜欢
    • 2011-06-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-11-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多