【发布时间】:2021-12-06 18:15:31
【问题描述】:
我尝试在 Connect Cluster 中加载一个简单的 Kafka 连接器。 我为连接器创建了 jar,并将 Kafka Connect 作为 docker 启动。在日志中,我可以看到它正在加载插件。 Docker 正确挂载 jar 文件。 但是,当调用 http://localhost:8083/connector-plugins 时,我的自定义连接器不在列表中。
我只是从这个 repo 构建并启动了 docker-compose:https://github.com/riferrei/kafka-source-connector。
我拥有的可用插件列表是:
[{"class":"io.confluent.connect.activemq.ActiveMQSourceConnector","type":"source","version":"5.5.0"},{"class":"io.confluent.connect.elasticsearch.ElasticsearchSinkConnector","type":"sink","version":"5.5.0"},{"class":"io.confluent.connect.ibm.mq.IbmMQSourceConnector","type":"source","version":"5.5.0"},{"class":"io.confluent.connect.jdbc.JdbcSinkConnector","type":"sink","version":"5.5.0"},{"class":"io.confluent.connect.jdbc.JdbcSourceConnector","type":"source","version":"5.5.0"},{"class":"io.confluent.connect.jms.JmsSourceConnector","type":"source","version":"5.5.0"},{"class":"io.confluent.connect.s3.S3SinkConnector","type":"sink","version":"5.5.0"},{"class":"io.confluent.connect.storage.tools.SchemaSourceConnector","type":"source","version":"5.5.0-ccs"},{"class":"org.apache.kafka.connect.file.FileStreamSinkConnector","type":"sink","version":"5.5.0-ccs"},{"class":"org.apache.kafka.connect.file.FileStreamSourceConnector","type":"source","version":"5.5.0-ccs"},{"class":"org.apache.kafka.connect.mirror.MirrorCheckpointConnector","type":"source","version":"1"},{"class":"org.apache.kafka.connect.mirror.MirrorHeartbeatConnector","type":"source","version":"1"},{"class":"org.apache.kafka.connect.mirror.MirrorSourceConnector","type":"source","version":"1"}]
有谁知道连接器不在列表中可能是什么问题?或者提示我可以检查什么?
【问题讨论】:
-
Docker 将 JAR 挂载在哪里?你把这个放在你的
plugin.path了吗? -
Docker 将 jar 挂载在
plugin.path的目录中,即CONNECT_PLUGIN_PATH: '/usr/share/java'在 docker-compose 中:./target/components/packages/you-kafka-connect-sample-0.1.0/you-kafka-connect-sample-0.1.0/lib:/usr/share/java/kafka-connect-sample -
您主机上的路径是否正确?如果您从目标文件夹检查为连接器创建的 jar 文件的内容,是否找到所需的类?
-
是的,配置都是正确的。问题出在 IntelliJ 配置中,我使用 IDE 启动了 mvn 命令,并且项目语言级别设置为 Java 16。将其更改为 8 后,连接器由 kafka connect 加载
-
现在可以使用了吗?随时在下面发布您的解决方案作为答案
标签: java apache-kafka apache-kafka-connect