禁止 robots.txt 中仅针对一个 url 的查询字符串

Question

所以我有一个 url，chickens.com/hatching，它有可能被索引的查询字符串，即chickens.com/hatching?type=fast。我肯定想保留基本 url，chickens.com/hatching 索引，但没有查询参数。我想要在其他页面上索引的查询参数，而不是这个，所以所有页面的包罗万象将不起作用。其次，我正在重写 url 以删除尾部斜杠，这会捕获 chickens.com/hatching/?type=fast 和 chickens.com/hatching?type=fast 吗？

这可以解决我的问题吗？

Disallow: /hatching?*

我听说这只适用于谷歌爬虫...有没有更强大的解决方案适用于所有爬虫？

感谢您的帮助！非常感谢。

Answer 1

User-agent: *
Disallow: /hatching?
Disallow: /hatching/

这个 robots.txt 将屏蔽所有路径以/hatching? 或/hatching/ 开头的网址，例如：

• /hatching?
• /hatching?foo=bar
• /hatching/
• /hatching/foo
• /hatching/?foo=bar

它仅使用原始 robots.txt 规范中的功能，因此所有符合标准的机器人都应该能够理解这一点。