从 Kafka json 消息到雪花表答案

【问题标题】：From Kafka json message to Snowflake table从 Kafka json 消息到雪花表
【发布时间】：2022-01-24 22:30:30
【问题描述】：

我正在尝试实现一个 Snowflake Sink 连接器，以便我可以将进入 Kafka 主题的消息直接加载到适当的 Snowflake 表中。到目前为止，我只能将原始 json 加载到具有两列（RECORD_METADATA 和 RECORD_CONTENT）的表中。我的目标是通过展平将 json 消息直接加载到适当的表中。我有表应该是什么的结构，所以我可以创建一个表并直接加载到该表中。但我需要一种方法让加载过程扁平化消息。

我一直在网上查看文档，但还没有找到明确的方法来做到这一点。是否有可能或者我必须先加载原始 json 然后进行转换以获得我想要的表？

谢谢

【问题讨论】：

很难说出你在问什么，但有一个 Flatten 变换可以在任何连接器上使用 docs.confluent.io/platform/current/connect/transforms/…

标签： json apache-kafka snowflake-cloud-data-platform apache-kafka-connect

【解决方案1】：

您必须先加载原始 JSON，然后才能进行转换。

每个 Kafka 消息都以 JSON 格式或 Avro 格式传递给 Snowflake。 Kafka 连接器将该格式化信息存储在 VARIANT 类型的单个列中。数据不解析，雪花表中数据不拆分成多列。

更多信息可以阅读here

【讨论】：