如何通过数组格式的查询字符串禁止 URL

Question

我想禁止所有带有特定查询参数的数组格式的 URL。

例如我有这样的网址：

https://example.com/site/?param[index]=1&param[index2]=5

并且我不希望所有爬虫在所有数组变体中都使用param 参数来爬取站点。

第二个问题：是否可以仅在某些数组参数出现时才禁止？例如，param[index3]? （我不需要它，但它可能对其他人有用）

Answer 1

robots.txt 语法不支持这个。

最接近的方法是将<meta name="ROBOTS" content="NOINDEX"> 添加到查询字符串中带有该参数的任何页面。