使用开源工具监控 Kafka答案

【问题标题】：Monitor Kafka using Opensource tools使用开源工具监控 Kafka
【发布时间】：2017-12-07 07:07:59
【问题描述】：

有任何开源工具来监控融合的 Kafka 吗？大多数可用的开源工具都特定于 Apache Kafka，但不适用于 Confluent Kafka。

我们希望至少监控连接器、流和集群的健康状况

【问题讨论】：

【解决方案1】：

在 Confluent 平台中分发的 Kafka 是 Apache Kafka。真的没有“融合卡夫卡”这样的东西。任何适用于最新版本 Apache Kafka（包括 Kafka Connect 和 Kafka Streams）的工具都将适用于 Confluent Open Source 中包含的相同版本的 Kafka。

Confluent 3.3 包含 Apache Kafka 0.11
Confluent 3.2 包含 Apache Kafka 0.10.2
Confluent 3.1 包含 Apache Kafka 0.10.1
Confluent 3.0 包含 Apache Kafka 0.10.0
Confluent 2.0 包含 Apache Kafka 0.9
Confluent 1.0 包含 Apache Kafka 0.8.2

注意：Confluent Enterprise 包含自己的监控和管理 GUI，称为控制中心。控制中心是一个单独的进程，因此 Apache Kafka 仍然与开源版本相同。

【讨论】：

【解决方案2】：

您可以使用KafkaOffsetMonitor 的更新版本。它支持 SSL/TLS 和 Kerbros。还使用 Kafka 1.1.0 库。

【讨论】：

【解决方案3】：

您应该能够使用 kafka-monitor 监控集群的运行状况以及使用 Burrow 和 KafkaOffsetMonitor 监控您的消费者应用程序延迟。此外，您绝对应该使用 jmxtrans 之类的东西来收集您的 Kafka 代理指标。

【讨论】：