如何在 StormCrawler 中使用快速 url 过滤器？

Question

我遇到了快速 url 过滤器。它提供了几个选项，例如将过滤器应用于特定域。有人可以详细了解它的用法以及如何在 url filters.json 中配置它吗？

Answer 1

过滤器可以像任何其他过滤器一样在 urlfilters.json 中配置，即

 {
  "class": "com.digitalpebble.stormcrawler.filtering.regex.FastURLFilter",
  "name": "FastURLFilter",
  "params": {
    "file": "fast.urlfilter.json"
  }
}

file参数是可选的，默认取上面给出的值。

详情请参阅JAVADOC、BLOG 和WIKI。