在 Crawler4j 中关闭 3 个工作爬虫的特定爬虫？

Question

我有多个工作爬虫一起运行

例如。

-爬虫1

-爬虫2

-爬虫3

我的问题是：如果我只想关闭 2 号爬虫怎么办？

我想 crawler4j 中的每个爬虫都有一个会话 ID，我可以 在请求其 ID 时将其关闭

我该如何实施？

编辑

我知道如何关闭正在工作的爬虫，但我的问题是……如果我 有用户的爬行系统，我希望每个用户都有自己的 爬虫，如果用户 x 想要关闭它的爬虫 .so，爬虫 用户 x 关闭而没有反映和关闭用户 y 爬虫

Answer 1

您必须将您的爬虫包装在 CrawlController 实例中：

CrawlController controller = new CrawlController(config,..);
controller.startNonBlocking(BasicCrawler.class, numberOfCrawlers);

Thread.sleep(30 * 1000);
controller.shutdown(); // shutdown crawling
controller.waitUntilFinish();

你会发现完整的例子here

更新
示例代码，User 和 controller 实例：

public class UserCreator {
  public User createNewUser() {
    CrawlController controller = new CrawlController(config,..);
    controller.startNonBlocking(BasicCrawler.class, numberOfCrawlers);

    return new User(controller);
  }
}

public class User {
  private CrawlController controller; 

  public User(CrawlController controller) {
    this.controller = controller;
  }

  public void shutdownCrawler() {
    controller.shutdown(); // shutdown crawling
    controller.waitUntilFinish();
  }
}