Kafka Connect 加载插件失败

Question

我正在使用 Strimzi 在 K8s 上部署 KafkaCluster、KafkaConnect。

• Strimzi 算子集群镜像：quay.io/strimzi/operator:0.26.1
• Kafka 镜像：quay.io/strimzi/kafka:0.26.1-kafka-3.0.0。

我正在尝试设置连接到 Postgres DB 的 KafkaConnector。

这些是我的步骤：

1. 从此图像“quay.io/strimzi/kafka:0.26.1-kafka-3.0.0”构建一个新的 KafkaConnect。这个新图像有我从这个链接“https://debezium.io/documentation/reference/stable/connectors/postgresql.html#postgresql-deployment”下载的插件

2. 我在 K8s 上运行这个新镜像，然后执行到 KafkaConnect 容器中。它有正确的插件（'/opt/kafka/plugins/debezium/debezium-connector-postgres'）：

3. 我创建了引用类 'io.debezium.connector.postgresql.PostgresConnector' 的 KafkaConnector：

kind: "KafkaConnector"
metadata:
  name: dev-approvalflowservice-connector
  labels:
    strimzi.io/cluster: postgres-connect-cluster-1
spec:
  class: io.debezium.connector.postgresql.PostgresConnector
  tasksMax: 2
  config:
    database.hostname: 10.14.101.204
    database.port: "5432"
    database.user: "debezium"
    database.password: "debezium"
    database.dbname: "approvalflowservice"
    database.server.name: "approvalflowservice"
    plugin.name: "pgoutput"
    slot.name: "approvalflowserviceslot"
    truncate.handling.mode: "include"
    table.include.list: "public.approval_flow"

4. 问题是 KafkaConnect 无法加载我已经添加到新 KafkaConnect 映像中的插件。来自 KafkaConnect 的日志：log

更新

5. 我尝试在新的 KafkaConnect 映像中更改插件的位置 ('/opt/kafka/plugins/debezium-connector-postgres')：
6. 问题一样：log

谢谢大家。

Answer 1

在你的日志中，你有

Loading plugin from: /opt/kafka/plugins/debezium

但是，由于您的插件已安装到子文件夹中，因此没有 Postgres 类被列为已加载。

确保插件路径在您定义的路径和 JAR 可用的位置之间只有一个文件夹。例如安装到/opt/kafka/plugins/debezium-connector-postgres

您还可以在创建之前向 Connect API 发出GET /connector-plugins HTTP 请求，以列出集群的可用连接器。