【问题标题】:Kafka Invalid Topic Exception for Every topic! why?Kafka 每个主题的无效主题异常!为什么?
【发布时间】:2020-09-19 11:59:45
【问题描述】:

我在 Ubuntu 服务器上安装了最新的融合平台 Kafka。现在,当我尝试从主题中获取消费时,我收到上周五所有正在运行的主题以及我创建的任何新主题的错误。

kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic distance2

主题创建距离2

   kafka-console-consumer --bootstrap-server localhost:9092 --topic  distance2  --from-beginning

[2020-06-01 08:00:27,746] WARN [Consumer clientId=consumer-console-consumer-56224-1, groupId=console-consumer-56224] 获取相关 ID 为 2 的元数据时出错:{distance2 = INVALID_TOPIC_EXCEPTION} (org.apache.kafka.clients.NetworkClient) [2020-06-01 08:00:27,747] 错误 [Consumer clientId=consumer-console-consumer-56224-1, groupId=console-consumer-56224] 元数据响应报告了无效主题 [distance2] (org.apache.kafka.客户.元数据) [2020-06-01 08:00:27,748] ERROR 错误处理消息,终止消费者进程:(kafka.tools.ConsoleConsumer$)

  org.apache.kafka.common.errors.InvalidTopicException: Invalid topics: [distance2 ]
Processed a total of 0 messages

作为一个原则问题,似乎应该可以找到某些无效的原因。如何找到原因?

【问题讨论】:

  • Exception 中的主题名末尾好像有空格?
  • 好吧,这是一个有趣的观察让我看看..
  • 是的,好像是这样。
  • 是的,就是这样。谢谢
  • 不幸的是,我已达到我的问题限制。我已经在 Ubuntu 上安装了 Kafka 并从 systemctl 开始。现在,除了 /var/log 的尾部系统日志之外,我无法获取连接器的日志,而且我在任何地方都看不到连接器的日志。我确实找到了 log4j,它似乎被配置为写入文件,但看不到它在任何地方写入文件。也不是我如何在标准输出中听它。只有整个系统日志的尾部似乎有效,但它不适合调试。

标签: apache-kafka confluent-platform


【解决方案1】:

除了在评论部分提供其他信息(来自文档):

客户端尝试对无效主题执行操作。 例如主题名称太长,包含无效字符 等等。这个异常是不可重试的,因为操作不会 突然生效。

有效字符为“-”、“.”、“_”。

【讨论】:

    【解决方案2】:

    我遇到了同样的错误

    [WARN ] 2021-01-13 19:24:44.516 [tx.id=] [kafka-producer-network-thread | producer-1] NetworkClient - 
    [Producer clientId=producer-1] Error while fetching metadata with correlation id 574 : {publish.data.dev =INVALID_TOPIC_EXCEPTION}
    

    由于属性文件中的主题名称后有空格而发生错误,即“publish.data.dev” 删除空格后修复

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-02-05
      • 1970-01-01
      • 2019-05-14
      • 2019-01-04
      • 1970-01-01
      • 2018-08-06
      • 2017-04-03
      • 2019-10-09
      相关资源
      最近更新 更多