【发布时间】:2015-03-12 10:18:12
【问题描述】:
我正在尝试抓取网络。最好使用 Nutch。 如果 Hortownworks 开箱即用支持 Nutch,则找不到参考。
有没有人在 YARN 上专门与 Hortonworks HDP 集成了 Nutch? 或者有人尝试在 Hadoop 2.x (YARN) 上集成 Nutch?
提前致谢。
【问题讨论】:
标签: hadoop web-crawler nutch hortonworks-data-platform
我正在尝试抓取网络。最好使用 Nutch。 如果 Hortownworks 开箱即用支持 Nutch,则找不到参考。
有没有人在 YARN 上专门与 Hortonworks HDP 集成了 Nutch? 或者有人尝试在 Hadoop 2.x (YARN) 上集成 Nutch?
提前致谢。
【问题讨论】:
标签: hadoop web-crawler nutch hortonworks-data-platform
HDP 2.3 不支持开箱即用的 Nutch(HDP 网站上有一张图表显示支持的服务:HDP2.3 What's New)。但是它确实支持 Nutch 所依赖的服务。可以定义自定义 Ambari 服务并将其添加到 HDP 2.3 堆栈定义中,以支持 Nutch。
【讨论】: