Clickhouse kafka 引擎 - 如何将带有解析错误的消息移动到不同的队列

Question

我正在使用来自使用 kafka 引擎的队列表的物化视图将分析数据推送到表中。我使用 JSONEachRow 作为 kafka 格式，可能会偶尔出现 json 解析错误。如何将失败的消息移动到死信队列以检查并跳过处理？

Answer 1

有一个用于跳过损坏消息的设置，称为kafka_skip_broken_messages。

不幸的是，正如Altinity Blog post 所指出的那样，它目前无法按预期工作。

另一个设置是“kafka_skip_broken_messages”。它不适用于所有格式，有时会产生意想不到的结果。

我的解决方案是使用 Kafka Stream 和 JSON Schema Validator 首先验证每条消息，然后将验证后的消息发送到 ClickHouse 读取的另一个主题。