禁用scrapy中的子域并根据模式过滤链接

Question

在scrapy中，有一个选项可以限制对某些域的抓取，即将它们放入allowed_domains变量中。

1. 如何禁止爬虫进入某些子域？
2. 如何禁止爬虫跟踪具有特定模式的链接，例如包含 "?login=" 或
3. 是否有可能只关注满足某些正则表达式模式的链接？

Answer 1

this 怎么样？我认为文档是阅读的好地方——您可以在其中找到与 allow 旁边的 deny 参数相关的答案，并且它们可以与正则表达式一起使用。