【发布时间】:2013-04-10 00:43:43
【问题描述】:
假设您要禁止目录 /#test/(目录名称以哈希开头)
我尝试使用以下线路:Disallow: /#test/
但是,这不起作用,因为在谷歌搜索后,我发现井号 (#) 是为 robots.txt 文件中的 cmets 保留的,其中该行 # 之后的所有内容都将被忽略。
之后我尝试了
Disallow: /\#test/
和
Disallow: /"#test"/
但那些也没有用。
有人知道我应该使用什么语法吗?
编辑:顺便说一句,我正在使用谷歌网站管理员工具来测试机器人规则是否有效
【问题讨论】:
标签: indexing web-crawler bots robots.txt google-search-console