未获取 nutch 网址

Question

尝试从该域的本地网站抓取一些网址：

https://foo.foofoo.com

但是，我无法为下面这些特定的内容制作它。因为 nutch 会跳过它们，即使它生成它们以便被提取。但它没有成功：

https://foo.foofoo.com/foo/foo/foo/foo-a-foo-foofoo-foo-foo-foofoo-foo-foofoo
https://foo.foofoo.com/foo/00550000006yDdKAAU/foofoo/foo-foo-foo-foofoo-foo-foo
https://foo.foofoo.com/foo/foo/foo/foofoo-foo-foofoo-foo-foo/foofoo-a-foo-foofoo-foofoo?foo_id=foo-fi-and-foo-fafoo-fa

只有一些这样的网址（不是全部！只有少数！）被获取：

https://foo.foofoo.com/en/foofoo

这是我的 regex-urlfilter 文件，我只通过它获取英文网页：

-^(file|ftp|mailto):
-^https?://foo.foofoo.com/(de|ja|fr|es-MX|pt-BR)
+^https?://foo.foofoo.com

请问有什么绝妙的主意吗？

Answer 1

为我的用例删除一些无用的插件后，一切都恢复正常。这些插件是 nutch-extensionpoints、parse-text 和 query(basic|site|url)。