将 RabbitMQ 与 Stormcrawler 一起使用

Question

我想将 RabbitMQ 与 StormCrawler 一起使用。我已经看到有一个将 RabbitMQ 与 Storm 结合使用的存储库： https://github.com/ppat/storm-rabbitmq

您将如何将其用于 StormCrawler？我想使用生产者和消费者。

对于消费者来说，似乎有一些文档。制片人呢？您可以将配置条目放在风暴爬虫配置中还是我需要更改 RabbitMQProducer 的源代码？

Answer 1

您希望将 URL 发送到 RabbitMQ 的 Bolt 扩展 AbstractStatusUpdaterBolt，因为超类在引擎盖下做了很多有用的事情，这意味着您不会使用开箱即用的 Producer，但需要编写一些自定义代码。

除非您确定不会有重复的 URL，否则您需要在将 URL 发送到队列之前对其进行重复数据删除，例如可以这样做在您的自定义状态更新器中使用 Redis。