【问题标题】:Invalid snowflake.topic2table.map无效的雪花.topic2table.map
【发布时间】:2019-10-06 15:56:44
【问题描述】:

谁能告诉我为什么我的 snowflake.topic2table.map 值被我的 Snowflake Sink 连接器报告为无效? KAFKA_TEST 数据库已在 Snowflake 中创建,我可以让接收器连接器为我创建表。当我从配置中删除 snowflake.topic2table.map 设置时,它可以正常工作......但我想控制正在创建的表的名称。我正在使用 Confluent 5.3.1 和 Snowflake Connector 0.50。

[SF_KAFKA_CONNECTOR] Invalid snowflake.topic2table.map config format: snowflake.topic2table.map (com.snowflake.kafka.connector.Utils:417)

我的接收器配置:

{                                                                                        
  "name" : "mySnowflakeSink",
  "config":{
    "connector.class" : "com.snowflake.kafka.connector.SnowflakeSinkConnector",
    "tasks.max" : "2",
    "topics" : "sink-sample-data",
    "snowflake.topic2table.map" : "sink-sample-data:sampledata",
    "buffer.count.records" : "5",
    "snowflake.url.name" : "xxxxxx.us-east-1.snowflakecomputing.com",
    "snowflake.user.name" : "JPARDI",
    "snowflake.private.key" : "yyyyyyy",
    "snowflake.private.key.passphrase" : "zzzzzzz",
    "snowflake.database.name" : "KAFKA_TEST",
    "snowflake.schema.name" : "PUBLIC",
    "key.converter" : "org.apache.kafka.connect.storage.StringConverter",
    "value.converter" : "com.snowflake.kafka.connector.records.SnowflakeJsonConverter"
  }                                                                                      
}

【问题讨论】:

    标签: apache-kafka-connect snowflake-cloud-data-platform


    【解决方案1】:

    看起来这是雪花连接器中的一个已知问题,由this commit 于 5 天前修复,尚未发布。

    问题在于,代码没有传递您指定的配置值,而是解析了属性本身的名称:snowflake.topic2table.map

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-02-14
      • 2021-07-22
      • 2021-06-28
      • 2021-12-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多