如何使用雪花卡夫卡连接器将增量数据摄取到雪花？

Question

我需要将数据从 kafka 摄取到 Snowflake。我想使用雪花卡夫卡连接器设计这种摄取。我的理解是我的sink需要是一个variant table，所以connector会将kafka消息推送到variant列。一旦数据在变量列中，我将需要运行另一个进程来读取变量列，解析它并将数据存储到相应的目标表中。请让我知道这是否是摄取 kafka 数据的最佳方法

谢谢

Answer 1

你是对的，这将是最好的前进道路。您的 kafka sink 将自动创建表并将数据提取到这些表中。然后，您可以使用基于流的任务将该表中的数据加载到另一个表中。查看此文档：

https://docs.snowflake.com/en/user-guide/data-pipelines-intro.html