尝试运行 Kafka JDBC 源连接器时出现 CORRUPT_MESSAGE答案

【问题标题】：CORRUPT_MESSAGE when trying to run a Kafka JDBC source connector尝试运行 Kafka JDBC 源连接器时出现 CORRUPT_MESSAGE
【发布时间】：2018-07-01 02:17:45
【问题描述】：

我正在尝试使用以下配置运行 Kafka JDBC 源连接器：

{
    "name": "source-mariadb-VIEW_GIORGOS", 
    "config": { "connector.class":"io.confluent.connect.jdbc.JdbcSourceConnector", 
                "tasks.max":"10", 
                "connection.url":"jdbc:mariadb://localhost:3306/kafka?user=myuser&password=mypass", 
                "table.whitelist":"VIEW_GIORGOS", 
                "mode":"timestamp", 
                "timestamp.column.name":"ROWVERSION", 
                "validate.non.null":"false", 
                "topic.prefix":"GIORGOS-", 
                "table.types":"TABLE,VIEW", 
                "poll.interval.ms":"1000",
                "consumer.group.id":"mytopicgroup1" 
    }
}

但是Kafka Connect报错如下：

WARN [Producer clientId=producer-8] Got error produce response with correlation id 1504 on topic-partition GIORGOS-VW_GIORGOS, retrying (2147483149 attempts left). 
Error: CORRUPT_MESSAGE (org.apache.kafka.clients.producer.internals.Sender:526)

【问题讨论】：

标签： apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

我发现这个错误与保留政策有关。

compact 策略需要一个键和一个值。由于视图没有键，因此消息已损坏。将政策更改为 delete 已为我解决了这个问题。

【讨论】：

谢谢！这真的有效。小注意：不要忘记明确删除并重新创建主题。