在 apache camel 中使用 rabbitmq 处理大文件/消息时减少内存使用

Question

我正在使用 curl 作为二进制数据向骆驼发送 200-900 MB 的大型 zip 文件。这对restlet来说很好，但是当我处理从restlet到rabbitmq的数据时，内存使用量会上升。

我尝试将 .to(rabbitmq...) 注释掉，然后问题就消失了。当我启用 .to(rabbitmq...) 端点时，内存使用会增加。我试图禁用 rabbitmq 消费者，但这并没有改变。

看来问题是 .to(rabbitmq...) 导致内存使用增加。我发现它在内部使用 byte[] 但转换为 InputStream 没有做任何事情。 Rabbitmq 在内部使用 byte[] 但是当完成发送到队列时它不会释放内存。

我尝试了流缓存并将正文转换为 InputStream，但问题仍然存在。

现在我需要大量内存，有时必须为 900MB 的 Zip 文件增加大约 4GB 的堆空间

.to(ExchangePattern.InOnly,"rabbitmq://localhost/myQueue?connectionFactory=#myConnectionFactory&durable=true&queue=myQueue&autoDelete=false&autoAck=false&queueArgsConfigurer=#myQueueArgs")

Answer 1

使用 S3、FTP 等对象存储存储您的 zip 文件，并且仅通过 RabbitMQ 将 URL 传递给文件。

---

_{注意：RabbitMQ 团队会监控 rabbitmq-users mailing list，并且仅有时会回答 StackOverflow 上的问题。}