【问题标题】:What exactly is data record in Kafka Streams?Kafka Streams 中的数据记录到底是什么?
【发布时间】:2022-02-07 23:19:24
【问题描述】:

所以我已经阅读了足够多的教程和官方文档,但是我在数据记录中找到的所有内容几乎都是从一个来源复制粘贴到另一个来源:

  1. 流分区是不可变数据记录的有序、可重放和容错序列,其中定义了数据记录 作为键值对。

  2. 每个流分区是一个完全有序的数据记录序列,并映射到一个 Kafka 主题分区。 数据记录映射到来自该主题的 Kafka 消息

那么数据记录到底是什么?既然它映射了 kafka 消息,可以肯定地说它几乎是同一件事,还是它是具有某种关于 kafka 消息的信息的另一个对象?

【问题讨论】:

  • 这个问题并不是 Streams API 所独有的。与提取的ConsumerRecord对象基本相同

标签: apache-kafka apache-kafka-streams


【解决方案1】:

数据记录不过是一个消息,它结构化为键值对,如name=smithid=101

Stream 是 Kafka 流上下文中使用的高级术语,Kafka 流是构建在核心 kafka-clients API 之上的高级 API,以提供一些附加功能。

通常,流是数据流,在这种情况下,它是消息或数据记录的集合。

因此,当您说数据记录时,它仅表示 Kafka 消息,它不是具有有关 Kafka 消息的某些信息(或元数据)的其他对象。如果您想存储 其他一些称为元数据的信息,它通常存储在 Kafka 消息/数据记录的标头中。

【讨论】:

    猜你喜欢
    • 2017-10-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-22
    • 1970-01-01
    • 1970-01-01
    • 2011-01-20
    相关资源
    最近更新 更多