如果我重新启动 clickhouse 服务器，则无法看到 clickhouse 中加载的数据

Question

我正在使用 clickhouse 数据库加载一些实时指标。所以我用引擎 kafka 创建了一个表，并在其中加载了大约 100 万个指标……但问题是如果我重新启动我的 clickhouse 客户端并且如果我从表名中选择 * 我无法看到其中加载的数据..我怎样才能看到该数据？

CREATE TABLE cpuinfo (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'cpuout', 'group1', 'JSONEachRow');

上表我创建并开始收集数据如下

select * from cpuinfo

如果我重新启动我的 clickhouse 客户端，然后执行相同的命令 select * from cpuinfo 我无法看到加载的数据...如何查看数据？

Answer 1

您是否按照documentation 中的建议对 Kafka 表使用 MATERIALIZED VIEW？

如果您使用 MATERIALIZED VIEW，那么来自 Kafka 的所有消息都将插入到视图中。所以在这种情况下，您应该从视图中选择，而不是从 Kafka 表中选择。

如果您不使用 MATERIALIZED VIEW，那么您只能从 kafka 表中查询一次新消息。当您再次查询时，查询将不会再次返回相同的消息，因为它已经从 Kafka 消费过一次。

如果您需要聚合数据，请使用 SummingMergeTree，如示例中所示。 如果您更喜欢原始数据，则可以使用 MergeTree。

时间戳列的类型是字符串。它的格式是什么？ 我建议您解析时间戳并将其作为 unix 时间戳插入 Kafka。 然后你需要用 UInt64 类型的时间戳列重新创建表 cpuinfo。

如果您这样做，那么您可以使用以下语句创建视图：

CREATE TABLE cpuinfo_t (
  timestamp UInt64,
  namespace String, 
  data Float, 
  unit String, 
  plugin_running_on String, 
  version UInt64, 
  last_advertised_time String, 
  DAY Date) 
ENGINE = MergeTree 
PARTITION BY DAY 
ORDER BY (DAY, timestamp) SETTINGS index_granularity = 8192;

CREATE MATERIALIZED VIEW cpuinfo_view TO cpuinfo_t AS 
SELECT 
  timestamp, 
  namespace, 
  data, 
  unit, 
  plugin_running_on, 
  version, 
  last_advertised_time, 
  toDate(toDateTime(timestamp)) AS DAY 
FROM cpuinfo;