【问题标题】:KSQL Streams and Tables does not persists dataKSQL 流和表不持久化数据
【发布时间】:2019-04-11 05:16:35
【问题描述】:

我创建了一个 kafka 主题,并在该主题上创建了一个 KSQL 流,并在该流上创建了一个表以进行聚合, 重新启动 KSQL Server 和 Kafka 后,所有 KSQL 流和表都消失了! 有什么方法可以配置 KSQL Server 以将流和表保留在桌面上。 它是否仅将数据存储在 RAM 上?

【问题讨论】:

  • 您使用的是什么版本的 Confluent 平台?您如何运行 Confluent 平台?例如,您是否使用 Confluent CLI?码头工人等?根据设计,KSQL 在 Kafka 本身中保留元数据(流/表定义)以及创建的主题。听起来您在重新启动之间以某种方式丢失了 Kafka 主题数据。
  • 同意。 “重启”是什么意思?除了 Docker,confluent start 默认也不是用来保存持久数据的
  • 我们正在单独安装zookeeper,kafka,不使用confluent docker镜像,我们也单独使用ksql,我们从git hub中的ksql源构建ksql,它在端口8088上与ksql客户端一起运行。 ksql 服务器是否存在流,ksql 表将其数据存储在 kafka 主题上,但是流呢?因为没有为 ksql 流创建 kafka 主题,但对于 ksql 表,创建了 kafka 主题。

标签: apache-kafka streaming ksqldb


【解决方案1】:

在很早的 ksqlDB 版本中存在一个可能导致此问题的错误,但现在已针对许多版本进行了修复。请使用更新的版本重试。

【讨论】:

    猜你喜欢
    • 2019-05-08
    • 1970-01-01
    • 2020-07-05
    • 1970-01-01
    • 1970-01-01
    • 2021-09-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多