Nutch 网络蜘蛛，索引整个网络

Question

好的，我一直在搞乱Nutch，需要知道我编辑的crawl-urlfilter.txt 文件中的什么参数，这样蜘蛛就没有边界。换句话说，我希望它在指定域之外的网络上漫游。

我假设它与这一行有关，但我不知道如何正确编辑它以按照我的意愿进行操作：

+^http://([a-z0-9]*\.)*urlz.net/

Answer 1

我对 Nutch 不熟悉，但这只是一个正则表达式。

+^http://([a-z0-9\.])*

可能会工作得很好，或者它的一些变化。它只是匹配一个模式。我刚刚在上面写的那个应该匹配以 http:// 开头的任何内容，然后是任意数量的字母、数字或点。