Kafka Connect 不会选择自定义连接器答案

【问题标题】：Kafka Connect won't pick up custom connectorKafka Connect 不会选择自定义连接器
【发布时间】：2022-02-14 20:40:18
【问题描述】：

我正在尝试在带有自定义连接器 (PROGRESS_DATADIRECT_JDBC_OE_ALL.jar) 的 docker 容器中使用 kafka connect 来连接到 openge 数据库。

我已将 JAR 文件放在插件路径 (usr/share/java) 中，但它不会作为连接器加载。

COPY Openedge/PROGRESS_DATADIRECT_JDBC_OE_ALL.jar /usr/share/java/progress

我可以通过将另一个（标准）连接器放在插件路径中来加载它。这行得通

COPY confluentinc-kafka-connect-jdbc-10.3.2 /usr/share/java/confluentinc-kafka-connect-jdbc-10.3.2

对如何前进有点迷茫，我对 kafka 很陌生。我的主要信息来源是 openedge to kafka streaming 和 How to use Kafka connect

【问题讨论】：

标签： apache-kafka apache-kafka-connect openedge

【解决方案1】：

@OneCricketeer 有解决方案。作为对我的复古，希望对其他人有所帮助，这是我完成这项工作的步骤。将 JDBC 连接器复制到 CONNECT_PLUGIN_PATH 并使用 confluent hub install 进行安装：

COPY confluentinc-kafka-connect-jdbc-10.3.2.zip /usr/share/java
RUN confluent-hub install --no-prompt /usr/share/java/confluentinc-kafka-connect-jdbc-10.3.2.zip

根据@OneCricketeer 的建议，将驱动程序（我最终使用opengge.jar）复制到其他jar 所在的路径（如sqllite）。

COPY Openedge/openedge.jar /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib

按照page 的建议启用DEBUG 进行验证最后添加一个 .properties 文件来创建连接器。就我而言，基于上面“openedge to kafka streaming”链接中的链接

【讨论】：

【解决方案2】：

JDBC 驱动程序不是连接插件，它们本身也不是连接器。

您需要设置 JVM CLASSPATH 环境变量来检测 JDBC 驱动程序，就像任何 Java 进程一样。

链接站点上的说明建议您将 JDBC 驱动程序复制到现有 Confluent JDBC 连接器的目录中。虽然您可以使用 Docker COPY 命令，但更好的方法是使用 confluent-hub install

【讨论】：

感谢您的回复。我的设置是一个 kafka-connect 图像，扩展得很少。其他 kafka 服务组合在一个 docker-compose.yml 文件中。我尝试通过在 docker-compose.yml 中更改 CLASSPATH 来设置类路径。当前值为“/usr/share/java/monitoring-interceptors/monitoring-interceptors-7.0.1.jar”，我尝试将 jar 添加到这个类路径，并将当前设置更改为 monitoring-interceptors 文件夹并将jar 在那里 • 我还尝试将“ENV CLASSPATH=/usr/share/java/progress_datadirect_jdbc_oe_all.jar”添加到 dockerfile。
当我尝试通过在 Kafka Connect 控制中心添加配置文件来测试连接器时，我测试的更改导致“无效的连接器类”。我显然没有找到在这里设置类路径的正确方法。你有什么指点吗？
“无效的连接器”指的是 JDBC 连接器，而不是类路径。如前所述，为什么不将 jdbc 驱动程序添加到现有的 jdbc 连接器文件夹中，并放在它自己的 Postgres 和 sqlite 驱动程序 jar 旁边？