【问题标题】:Empty KSQL Stream空的 KSQL 流
【发布时间】:2019-05-03 00:48:42
【问题描述】:

我在从 Kafka 主题获取数据时遇到问题。 这个主题内容对象,我真的不知道如何在流中存储一些变量。 并且我确定该主题存在

我有:

Ticket object:{

header object{storeID,storename.....}

body object{...}

}

我想将 storeID 放入流中

create stream test (StoreID VARCHAR) with (KAFKA_TOPIC= 'output__tfrema',VALUE_FORMAT='AVRO');

我尝试了那个例子,但它给了我 0 个数据,我希望它给我至少 10000 个数据。

谢谢

【问题讨论】:

    标签: ksqldb


    【解决方案1】:

    如果没有返回结果,可能有多种原因。

    • 确保您已SET 'auto.offset.reset' = 'earliest';,以便您阅读主题开头的所有消息
    • 您的 KSQL 服务器日志中是否存在反序列化错误?

    您可以在这里阅读更多内容:https://www.confluent.io/blog/troubleshooting-ksql-part-1

    【讨论】:

    • 一切都很好,但是流是空的。不知道会不会这样写StoreID!!!
    • 嗯再看一遍,如果是 Avro,则不需要声明列。如果您有有效的架构,只需 create stream test with (KAFKA_TOPIC= 'output__tfrema',VALUE_FORMAT='AVRO'); 即可。
    • 我试试那个,但它说:VALUE_FORMAT 应该在 CREATE STREAM/TABLE 语句的 WITH 子句中设置。
    • 我在这里找到了解决方案:confluent.io/stream-processing-cookbook/ksql-recipes/… thx 你在 KSQL 中写了一些关于聚合的东西吗!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-10-15
    • 2019-11-13
    • 2019-02-10
    • 1970-01-01
    • 1970-01-01
    • 2020-09-09
    • 2020-11-04
    相关资源
    最近更新 更多