Kafka-Connect JDBC 连接器 tinyint 到布尔映射

Question

我有一个配置为定期查询 MySQL 表并将消息放入队列的 Kafka-Connect 作业。这些消息的结构是使用 Avro 模式定义的。我的一个列的映射有问题。

该列在我的 MySQL 架构中定义为 tinyint(1)，我正在尝试将其映射到我的 avro 对象中的布尔字段。

{ "name": "is_active", "type": "boolean" }

kafka-connect 作业运行，消息被放置在队列中，但是当我从队列中读取的应用程序尝试反序列化消息时，我收到以下错误：

org.apache.avro.AvroTypeException: Found int, expecting boolean

我希望 1 或 0 值可以自动映射到布尔值，但似乎并非如此。

我还尝试将我的作业配置为使用“Cast”转换，但这似乎只是导致消息中的其他字段出现问题。

"transforms": "Cast", "transforms.Cast.type": "org.apache.kafka.connect.transforms.Cast$Value", "transforms.Cast.spec": "is_active:boolean"

我正在尝试的是否可行，或者我是否必须更改我的应用程序才能使用 int 值？

这是我的完整配置（我已经删除了一些其他不相关的字段）

Kafka Connect 作业配置

{ "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", "mode": "bulk", "topic.prefix": "my_topic-name", "transforms.SetSchemaMetadata.type": "org.apache.kafka.connect.transforms.SetSchemaMetadata$Value", "query": "select is_active from my_table", "poll.interval.ms": "30000", "transforms": "SetSchemaMetadata", "name": "job_name", "connection.url": "connectiondetailshere", "transforms.SetSchemaMetadata.schema.name": "com.my.model.name" }

AVRO 架构

{ "type": "record", "name": "name", "namespace": "com.my.model", "fields": [
{ "name": "is_active", "type": "long" } ], "connect.name": "com.my.model.name" }

Answer 1

您可以使用custom Transform（这是一个完美的用例）来执行此操作，或者编写一个简单的流应用程序来执行此操作，例如在 KSQL 中：

CREATE STREAM my_topic AS 
  SELECT COL1, COL2, …
         CASE WHEN is_active=1 THEN TRUE ELSE FALSE END AS is_active_bln
  FROM my_source_connect_topic;

ksql> describe my_topic;

Name                 : my_topic
 Field         | Type
-----------------------------------------
 ROWTIME       | BIGINT           (system)
 ROWKEY        | VARCHAR(STRING)  (system)
 COL1          | INTEGER
 COL1          | VARCHAR
 IS_ACTIVE_BLN | BOOLEAN
----------------------------------------