为 kafka 消息触发 kubernetes 作业

Question

我有一个 kubernetes 服务，它仅在它使用来自 Kafka 队列的消息时才执行某些操作。队列不经常有消息，并且只要找到消息就会触发将服务作为作业运行将节省资源。

我看到 Kubernetes 对 AMQP 类型的消息服务有这个功能：https://kubernetes.io/docs/tasks/job/coarse-parallel-processing-work-queue/

鉴于 Kafka 不支持 AMQP，有没有办法为 Kafka 进行调整？我会切换到不同的消息传递系统，但我还有其他需要 Kafka 的也从该队列读取的服务。

Answer 1

Kafka 消费者 Service 是您真正需要的。如果您想节省资源，可以将其与 KEDA 自动缩放器配对，以便根据负载或消费者组延迟进行向上和向下扩展。

或者您可以使用KNative 等无服务器平台来触发基于 Kafka（或其他消息传递系统）的事件。

Kafka 不支持 AMQP

Kafka Connect 应该能够将 AMQP 桥接到 Kafka。例如。 Apache Camel 具有两者的连接器。