org.apache.kafka.common.errors.TimeoutException：60000 毫秒后元数据中不存在主题答案

【问题标题】：org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata after 60000 msorg.apache.kafka.common.errors.TimeoutException：60000 毫秒后元数据中不存在主题
【发布时间】：2020-12-22 03:30:53
【问题描述】：

我收到了错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

尝试在使用 Java 的 Windows 上的本地 kafka 实例中生成主题时。请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生成器向它生成消息。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表的输出和描述：

【问题讨论】：

你能显示主题创建和列出主题命令的输出吗？
@OneCricketeer 当然，我已将列表的输出和描述主题添加到问题中，我将复制因子设置为 1，因为我正在使用一个代理实例并将分区数设置为 3。

标签： java windows apache-kafka kafka-producer-api

【解决方案1】：

您可能需要检查您的生产者属性中的 metadata.max.idle.ms

生产者缓存的元数据与上述配置值一样长。对代理端元数据的任何更改都不会立即在客户端（生产者）上可用。但是，重新启动生产者应该在启动时读取元数据。

更新：在此处检查默认值.. https://kafka.apache.org/documentation.html#metadata.max.idle.ms

【讨论】：

【解决方案2】：

此错误为明显错误，可能由以下深层条件触发。

首先也是最常见的情况是你的kafka生产者配置错误，检查你的kafka属性BOOTSTRAP_SERVERS_CONFIGweather是正确的服务器地址。
在 docker 环境中，您可以检查您的端口映射。
检查防火墙是否打开了broker所在服务器的9092端口。
如果您的代理在 ssl 中运行，请检查您的生产者配置关于 SSL_TRUSTSTROE_LOCATION_CONFIG、SECURITY_PROTOCOL_CONFIG、SSL_TRUSTSTORE_TYPE_CONFIG。而且，一些代理配置同时在 ssl 和 PLAINTEXT 中运行，请确保您需要哪个端口。

【讨论】：

【解决方案3】：

kafka-topic --bootstrap-server 127.0.0.1:9092 --topic my_first --create --partitions 3

首先尝试使用上述命令在Kafka流中插入主题

这里 my_first 是主题名称。

【讨论】：

【解决方案4】：

当我的团队中有人更改了 spring.kafka.security.protocol 配置的值时（我们在我的项目中使用 Spring），我看到了这个问题。以前它在我们的配置中是“SSL”，但它已更新为PLAINTEXT。在我们连接到使用 SSL 的集群的高级环境中，我们看到了 OP 遇到的错误。

为什么我们看到此错误而不是 SSL 错误或身份验证错误，我无法理解，但如果您遇到此错误，可能值得仔细检查您的 Kafka 集群的客户端身份验证配置。

【讨论】：

【解决方案5】：

请注意，这也可能发生，因为 kafka-client 和 Spring 的版本不兼容

https://spring.io/projects/spring-kafka“Kafka 客户端兼容性”矩阵中的更多信息

【讨论】：

【解决方案6】：

由于目标 Kafka 实例“死亡”或指向它的 URL 错误，也会出现此错误。

在这种情况下，向 Kafka 发送消息的线程将在 max.block.ms 时间被阻塞，该时间默认为 60000 毫秒。

您可以通过传递更改的值来检查是否是由于上述属性：

Properties props = new Properties();
...(among others)
props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 30000); # 30 sec or any other value of your choice

如果TimeoutException在你指定的时间之后被抛出，那么你应该检查你的Kafka URL是否正确或Kafka实例是否存活。

【讨论】：

【解决方案7】：

我也有类似的问题，我在我的 macbook 上的本地环境中尝试这个。这很令人沮丧，我尝试了一些方法

停止 Zookeeper，停止 Kafka，重新启动 ZK 和 Kafka。（没有帮助）
停止 ZK。删除 ZK 数据目录。删除 Kafka logs.dirs 并重新启动 Kafka（没有帮助）
重新启动我的 macbook - 成功了。

我在生产中使用Kafka已经3年多了，但在集群上没有遇到这个问题，只发生在我的本地环境中。但是，重新启动会为我修复它。

【讨论】：

【解决方案8】：

我创建了一个带有单个分区的主题，并尝试将主题填充到 10 个分区中。我遇到了这个问题。
我使用 kafka-topics.sh 脚本删除了主题，但没等多久就完成了清理工作。我开始填充主题。当我查看主题元数据时，它有一个分区，我遇到的问题与本答案第一部分中提到的完全相同。

【讨论】：

【解决方案9】：

首先，我要感谢 Bobb Dobbs 的回答，我今天也为此苦苦挣扎了一段时间。我只想补充一点，我必须添加的唯一依赖项是jackson-databind。这是我项目中唯一的依赖项，除了kafka-clients。

更新：我对正在发生的事情有了更多了解。 kafka-clients 将其 jackson-databind 依赖项的范围设置为“已提供”，这意味着它希望它在运行时由 JDK 或容器提供。有关提供的 maven 范围的更多详细信息，请参阅this article。

此范围用于标记应在运行时由 JDK 或容器提供的依赖项，因此得名。这个范围的一个很好的用例是部署在某个容器中的 Web 应用程序，该容器本身已经提供了一些库。

我不确定将其范围设置为提供的确切原因，但也许这个库是人们通常希望自己提供的东西，以使其保持最新版本以进行安全修复等。

【讨论】：

尝试将jackson-databind 添加到您的项目依赖项中。如果这不起作用，请尝试添加jackson-core。如果这不起作用，我不确定还能尝试什么。
此异常出现在所有出现或有时出现？
@user3082820 如果我没记错的话，每次我尝试向 kafka 主题生成消息时都会发生异常。

【解决方案10】：

我今天也遇到了同样的问题。我是 Kafka 的新手，只是试图让一个示例 Java 生产者和消费者运行。我能够让消费者正常工作，但与生产者一样，一直收到与您相同的“元数据中不存在的主题”错误。

最后，出于绝望，我向制作人添加了一些代码来转储主题。当我这样做时，由于jackson-databind 和jackson-core 包中缺少类而出现运行时错误。添加它们后，我不再收到“主题不存在”错误。我删除了我临时添加的主题转储代码，它仍然有效。

【讨论】：

我花了一整天的时间来解决这个问题。非常感谢
@Bob Doobs 你能分享为此解决方案所做的代码更改吗？
Kafka 2.8.0，我认为，缺少杰克逊课程。建议降级