【发布时间】:2022-01-15 09:40:35
【问题描述】:
我正在使用Strimzi、Kafka、Kafka Connect 和一个自定义连接器插件,遵循this docs。
部署工作正常,Kafka Connect 工作正常,我可以使用它的RESTFUL API。
但是没有创建连接器。这是错误信息:
未能找到任何实现连接器的类和名称 匹配 org.company.MySourceConnector
我知道原因:它没有找到插件(一个 jar 文件)。但是如果我进入 kafka-connect pod,我可以在正确的位置(我想)看到 jar 文件:/opt/kafka/plugins/my-source-connector/my-source-connector.jar。
此外,我运行 cat /tmp/strimzi-connect.properties 并看到插件路径:plugin.path=/opt/kafka/plugins/。 (该文件由 srimzi 在部署期间创建)
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
name: kafka-connect
annotations:
strimzi.io/use-connector-resources: "true"
spec:
replicas: 1
bootstrapServers: kafka-kafka-bootstrap:9092
image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
config:
group.id: connect-cluster
...
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
metadata:
name: my-connector
labels:
strimzi.io/cluster: kafka-connect
spec:
class: org.company.MySourceConnector
tasksMax: 1
config:
topic: my-topic
name: my-connector
如何配置Strimzi 或Kafka Connect 来查找我的插件?
我用尽了所有资源。如果有人能对此有所了解,我将不胜感激。
【问题讨论】:
-
您可以查看 KafkaConnect 资源的状态,找到了哪些插件。您可以仔细检查名称等是否正确。您还需要确保连接器的所有依赖项也位于同一目录中。您还应该检查路径是否正确。你说你的插件在
/opt/kafka/plugins,但说插件路径是/opt/kafka/plugin(即最后没有s)。 -
我打错了路径。我编辑了帖子。我再次检查了这些东西,据我了解,这似乎还可以。感谢您的宝贵时间。
-
我不明白 Strimzi 与该问题有何关系。独立运行容器,它应该运行 Connect 进程,您可以在其中验证是否可以创建连接器
标签: apache-kafka apache-kafka-connect strimzi