如何使用 Kafka REST 代理处理背压

Question

我正在创建一个向kafka-rest-proxy 发送大量数据的服务。我只是向卡夫卡发送数据（生产）。我发现 kafka-rest-proxy 很容易不堪重负并且用完 java 堆空间。我已经分配了额外的资源，甚至横向扩展了运行 kafka-rest-proxy 的主机数量，但我仍然遇到连接断开和内存问题。

我不熟悉 kafka-rest-proxy 的内部结构，但我的直觉是它正在缓冲记录并将它们异步发送到 Kafka。如果是这样，那么它有什么机制来控制背压？有没有办法对其进行配置，使其同步向 Kafka 写入记录？

Answer 1

Kafka REST 代理公开了 Java 生产者的所有功能，消费者的命令行工具。 Rest Proxy 不需要任何背压概念。

更具体地说，Kafka 能够以惊人的速度通过网络传递消息。

您需要根据您生成和使用数据的速率来扩展代理。