无法在分布式模式下运行 Kafka Connect - 尝试创建/查找主题“连接偏移”时出错

Question

[2017-08-31 10:15:20,715] 警告配置 提供了“internal.key.converter”，但不是已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 'status.storage.replication.factor' 已提供但不是已知的 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 'internal.value.converter.schemas.enable' 已提供但不是 已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 'value.converter.schemas.enable' 已提供但不是已知的 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 提供了“internal.value.converter”，但不是已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,715] 警告配置 'offset.storage.replication.factor' 已提供但不是已知的 配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,716] 警告配置 'offset.storage.topic' 已提供，但不是已知配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10：15：20,716]警告提供了配置“value.converter” 但不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10：15：20,716]警告提供了配置“key.converter”，但 不是已知的配置。 (org.apache.kafka.clients.admin.AdminClientConfig:231) [2017-08-31 10:15:20,768] 信息码头-9.2.15.v20160210 (org.eclipse.jetty.server.Server:327) 2017 年 8 月 31 日上午 10:15:21 org.glassfish.jersey.internal.Errors logErrors 警告：以下 已检测到警告：警告：（子）资源方法 列表中的连接器 org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource 包含空路径注释。警告：（子）资源方法 在中创建连接器 org.apache.kafka.connect.runtime.rest.resources.ConnectorsResource 包含空路径注释。警告：（子）资源方法 listConnectorPlugins in org.apache.kafka.connect.runtime.rest.resources.ConnectorPluginsResource 包含空路径注释。警告：（子）资源方法 服务器信息在 org.apache.kafka.connect.runtime.rest.resources.RootResource 包含 空路径注释。

[2017-08-31 10:15:21,142] 信息开始 o.e.j.s.ServletContextHandler@63f02de0{/,null,AVAILABLE} (org.eclipse.jetty.server.handler.ContextHandler:744) [2017-08-31 10:15:21,149] 信息开始 ServerConnector@61b06738{HTTP/1.1}{0.0.0.0:8083} (org.eclipse.jetty.server.ServerConnector:266) [2017-08-31 10:15:21,149] 信息开始 @13584 毫秒 (org.eclipse.jetty.server.Server:379) [2017-08-31 10:15:21,150] 信息 REST 服务器在 http://172.28.193.126:8083/ 监听，广告 URL http://172.28.193.126:8083/ (org.apache.kafka.connect.runtime.rest.RestServer:150) [2017-08-31 10:15:21,150] 信息卡夫卡连接开始 (org.apache.kafka.connect.runtime.Connect:55) [2017-08-31 10：15：21,468]错误牧民工作线程中未捕获的异常，退出： (org.apache.kafka.connect.runtime.distributed.DistributedHerder:206) org.apache.kafka.connect.errors.ConnectException：出错时 尝试在以下位置创建/查找主题“连接偏移量” org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:245) 在 org.apache.kafka.connect.storage.KafkaOffsetBackingStore$1.run(KafkaOffsetBackingStore.java:99) 在 org.apache.kafka.connect.util.KafkaBasedLog.start(KafkaBasedLog.java:126) 在 org.apache.kafka.connect.storage.KafkaOffsetBackingStore.start(KafkaOffsetBackingStore.java:109) 在 org.apache.kafka.connect.runtime.Worker.start(Worker.java:146) 在 org.apache.kafka.connect.runtime.AbstractHerder.startServices(AbstractHerder.java:99) 在 org.apache.kafka.connect.runtime.distributed.DistributedHerder.run(DistributedHerder.java:194) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) 在 java.lang.Thread.run(Thread.java:748) 引起： java.util.concurrent.ExecutionException： org.apache.kafka.common.errors.UnknownServerException：服务器 在处理请求时遇到意外错误 org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45) 在 org.apache.kafka.common.internals.KafkaFutureImpl.access$000(KafkaFutureImpl.java:32) 在 org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(KafkaFutureImpl.java:89) 在 org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:213) 在 org.apache.kafka.connect.util.TopicAdmin.createTopics(TopicAdmin.java:226)

Answer 1

在分布式模式下启动 Kafka Connect 时，它将尝试创建或期望 Kafka 中存在多个主题。在我的情况下，自动主题创建已关闭，因此 Kafka Connect 无法在我运行它的环境中创建主题。我自己创建这些主题解决了这个问题。您将在属性文件（如下）中指定这些主题的名称。

offset.storage.topic

config.storage.topic

status.storage.topic

Answer 2

Kafka Connect 0.11.0.0 无法在早于 0.10.1.0 的代理上创建主题，因为这些旧代理中使用的协议不支持主题管理。

因此，如果您有一个较旧的代理，您应该手动创建主题或依赖代理自动创建。不幸的是，Kafka Connect 0.11.0.0 中的a bug 阻止了自动创建，因此在 0.11.0.1 可用之前，您必须手动创建主题。