【发布时间】：2019-04-25 04:04:33
【问题描述】：
ClickHouse Kafka Engine 能否使用 JSONEachRow 格式使用来自 Kafka 主题的压缩 JSON 消息？
它会自动解压缩消息然后应用 JSON 解析吗？ 它需要任何特殊配置吗？
编辑我的问题是通过在 Kafka 主题上设置压缩配置来压缩主题是否会使 ClickHouse 无法读取这些消息。
【问题讨论】：
标签： json apache-kafka clickhouse
【发布时间】：2019-04-25 04:04:33
【问题描述】：
可以，只要 ClickHouse 客户端能够理解 Kafka 主题压缩。例如，早期版本将无法理解 ZStandard 压缩，但他们会理解例如活泼。 无论是 JSON 还是其他，这取决于指定的解析方法。正如@Amos 所说，如果这些消息本身被压缩（虽然是冗余的），那么它们将不会被正确解析。
【讨论】：
Kafka 引擎按原样使用消息 - 不多也不少。这与从本机文件读取几乎相同，只是消息边界可能需要特殊处理。 ClickHouse 不支持读取原生序列化块以外的压缩数据文件。所以答案是否定的，它不能消费压缩的 JSON 消息。
【讨论】：