【问题标题】:After reboot KAFKA topic appears to be lost重新启动后 KAFKA 主题似乎丢失了
【发布时间】:2019-03-27 23:24:44
【问题描述】:

安装了 KAFKA 并查看了这些帖子:

  1. kafka loses all topics on reboot
  2. Kafka topic no longer exists after restart

因此将 kafka-logs 移动到 /opt... 位置,我仍然注意到当我重新启动时:

  1. 我可以重新创建主题。
  2. kafka-logs 目录包含有关主题、偏移量等的信息,但已损坏。

我想知道如何纠正这个问题。

在重新启动之前测试新主题可以正常工作。

【问题讨论】:

  • 这是一个“正常”的 Kafka 安装,还是你使用像 hub.docker.com/r/wurstmeister/kafka 这样的 docker 镜像?
  • @Moonwalkr 关注这个:digitalocean.com/community/tutorials/… 对我来说这是一个正常的安装
  • 是的。我问 bc 我注意到很多人正在使用这样的 docker 映像,当他们关闭映像并重新启动它时,安装会重新设置。抱歉,我没有回答您的问题。
  • 谢谢,有趣

标签: apache-kafka


【解决方案1】:

可能存在两个潜在问题

  1. 如果是在 docker 中运行的 kafka,则 docker image restart 总是会清理之前的状态并创建一个新的集群,因此所有主题都会丢失。

  2. 检查 log.dir 或 Zookeeper 数据路径。如果其中一个设置为 /tmp 目录,则每次重新启动时都会清除它。因此,您将丢失所有日志和主题。

【讨论】:

  • log.dirs 设置为 /opt - 我改变了它。我拥有的链接并没有让我相信我正在运行一个码头工人。它是 Ubuntu 18.04 的虚拟机。
  • 是的,该链接用于安装 vanilla kafka。
  • 谜团还在继续。
【解决方案2】:

在这个虚拟机中,我注意到 Zookeeper 日志是在 /tmp 上定义的。将其更改为 /opt(假设它应该是 /var),并且更正了实例终止时清除 Kafka 数据的问题。不知道如何完全解释这一点。

【讨论】:

  • @thebluephantom:太好了。所以谜团现在解开了。 +1
  • 它确实为我解决了这个问题。所以不知道为什么发表评论。
  • 真的,请对低质量帖子进行审查。
  • @thebluephantom 如果这是您解决问题的方法,请尽可能将其标记为已接受。这将阻止它出现在低质量的帖子队列中(这可能会在答案很短​​的情况下自动发生)并防止它被删除。
猜你喜欢
  • 1970-01-01
  • 2021-02-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-05-22
  • 2018-07-13
  • 1970-01-01
  • 2013-03-15
相关资源
最近更新 更多