Nutch 找不到此类网站的链接

Question

我是网络爬虫的初学者，我曾尝试过用于静态网络的 crawler4j。​​

现在，我想尝试通过 Nutch+hbase+solr 抓取这个网站 (https://weedmaps.com/brands)， 但我什至不能更进一步。

我曾尝试过其他网站，例如http://sports.sina.com.cn， 我实际上可以将信息索引到 solr。

我想知道https://weedmaps.com/brands，源页面没有明确的出链接，我该如何抓取它？ 任何机构都可以建议工具或文章吗？或者解释一下nutch 不起作用的原因？

非常感谢。

Answer 1

问题是https://weedmaps.com/brands 这个页面是使用 AngularJS 构建的，这意味着它基本上是使用 Javascript 呈现的，而实际存在的 HTML 很差。如果您尝试仅使用 curl，您可以看到源代码。默认情况下，Nutch 只依赖服务器发送的 HTML，不做任何客户端处理（比如解释 js 代码）。

您可以查看https://github.com/apache/nutch/tree/master/src/plugin/protocol-selenium 并配置该协议。在这种情况下，Nutch 将通过 Selenium（能够解释 javascript）对 HTML 进行管道传输，然后将最终的 HTML 发送到正常的 Nutch 管道。