Apache Kafka Consumer - 分析平台 - 可视化数据答案

【问题标题】：Apache Kafka Consumer - Analytics Platform - Visualize dataApache Kafka Consumer - 分析平台 - 可视化数据
【发布时间】：2019-05-24 08:39:22
【问题描述】：

我是 Apache Kafka 和数据分析的新手。

我能够在 Java 中使用来自 Apache kafka 消费者的消息。

现在我想获取这些实时数据并将其显示为仪表板。

我想使用任何开源工具可视化所有这些数据。

我发现的一个工具是 Druid，但提供的文档不足以学习和继续使用它。

我还了解到，Druid 很难在生产环境中安装和部署。

还有其他可用的工具吗？任何帮助表示赞赏。

【问题讨论】：

【解决方案1】：

您可以使用 Apache Zeppelin https://zeppelin.apache.org/ 来可视化您的 kafka 主题。它有一个笔记本的网络界面，它支持java。您可以在其上编写代码并可视化其输出

【讨论】：

【解决方案2】：

我最近开始使用 Metatron Discovery。 https://metatron.app/

它是一款免费的开源数据可视化软件。它支持 kafka，因此您可以使用各种图表将实时数据可视化。

如果您对开源感兴趣，这将很有帮助。 https://github.com/metatron-app/metatron-discovery/

【讨论】：

【解决方案3】：

您也可以使用 Elastic 堆栈。如果您使用 Kafka 获取数据，然后将其存储在 Elasticsearch 中，那么您可以使用 Kibana 快速获得仪表板。当我不得不安装和部署它时，我发现它非常易于使用。

【讨论】：

作为对此的扩展，我已经开始使用流集 (streamsets.com) 将 Kafka 连接到 Elasticsearch。这个工具是开源的，有很多优点。易于使用的 UI 和界面。谁像我一样环顾四周，他们可以利用这个。