使用 Apache Storm 的消息队列

Question

我对 Apache Storm 和消息队列可用的扩展选项非常陌生。当前系统从数据存储（文本、二进制文件、任何内容）中读取文件并将它们传递到 Apache solr 以进行索引。但是，需要对这些文件进行额外的处理，这就是风暴的用武之地。在 Storm 中的 UpdateRequestProcessorChain 期间，我似乎可以将正在处理的文件写入消息代理，然后我可以用风暴拉来做一些事情并行实时处理。

我预计平均每秒 10,000 个请求，每条消息 4KB。但是，有可能（尽管非常罕见）一个 100GB 以上的文件会在几秒钟内被传递。是否有一个消息队列仍然可以很好地满足这些要求？

我已经研究过 Kafka，它似乎针对 1KB messages 进行了优化。 RabbitMQ does not seem to like large files。 ActiveMQ 似乎确实有 sending large files 的 blob 消息。有没有人有上述或其他方面的经验？

Answer 1

我不认为将 100GB 以上的文件放入任何消息队列是一个好主意。您可以在将文件放入消息队列之前对文件进行预处理并将其分解为可管理的块。您可以为每个块添加某种 id，以便在处理时可以在 Storm 中关联文件的不同块。此外，将一个非常大的文件作为一个文档存储在 Solr 中也不是一个好主意。