Clickhouse 无法从 kafka 获取所有数据

【问题标题】：Clickhouse is not able to get all data from kafkaClickhouse 无法从 kafka 获取所有数据
【发布时间】：2018-06-12 18:56:22
【问题描述】：

我试图将一些实时指标从 kafka 放到 clickhouse，我的查询如下所示

CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1', 'group2', 'JSONEachRow');

当它从 kafka 获取大约 150 行的指标时，它突然停止并显示

156 rows in set. Elapsed: 11.245 sec.

但是数据仍然存在于 kafka 中，需要推送到 clickhouse...可能是什么问题？谁能帮帮我

【问题讨论】：

标签： apache-kafka yandex clickhouse

【解决方案1】：

您是否按照documentation 中的建议对 Kafka 表使用 MATERIALIZED VIEW？

如果您使用 MATERIALIZED VIEW，那么来自 Kafka 的所有消息都将插入到视图中。所以在这种情况下，您应该从视图中选择，而不是从 Kafka 表中选择。

如果您不使用 MATERIALIZED VIEW，那么您只能从 kafka 表中查询一次新消息。当您再次查询时，查询将不会再次返回相同的消息，因为它已经从 Kafka 消费过一次。

此外，您可以检查 ClickHouse 日志 (/var/log/clickhouse-server/clickhouse-server.log) 是否有一些错误。

还要确保您没有任何其他具有相同组主题的 Kafka 消费者（或 ClickHouse kafka 表），因为在 Kafka 消费者组中只获取一次消息。

【讨论】：