【发布时间】：2020-09-30 09:53:07
【问题描述】：
我已将 url 注入 nutch 并使用 bin/crawl 命令进行爬网。 我正在使用 nutch 的 rest api 我关注了这个链接enter link description here
我尝试在 nutch curl -XGET 'http://localhost:8081/job 中列出工作，但它没有显示任何工作。请问我知道原因吗？
【问题讨论】：
标签： nutch
【发布时间】：2020-09-30 09:53:07
【问题描述】：
无法通过bin/crawl 启动爬网，然后通过 REST API 对其进行监控。只需关注bin/crawl 的输出即可监控bin/crawl 的进度。
【讨论】：
-
如何使用rest api创建bin/crawl作业我无法在文档中找到任何示例并使用rest api监控作业。如果可能的话，请给我任何示例。谢谢
-
1.如果它只是关于监控 - Hadoop 提供了一个很好的监控 Web GUI。但是您需要以伪分布式或完全分布式模式运行 Nutch。 2. webapp 组件（由
bin/nutch webapp启动）使用REST API 启动作业。但是，仅支持最基本的作业（注入、生成、提取、解析、更新数据库、索引）。 -
如何在 hadoop 中监控 nutch 作业，你提到的 GUI 我可能知道。
-
什么是监控 nutch 作业和自动化 nutch 作业的最佳方法。我应该使用 rest api 或命令来运行 emr 的 haddop 集群。
-
目前我正在使用 nutch 1.17。你能提供指导什么是生产 nutch 工作的方法吗？