【问题标题】:Reuse one schema for multiple Kafka topics为多个 Kafka 主题重用一个模式
【发布时间】:2020-12-25 16:43:02
【问题描述】:

我试图搜索这个,但我的结果总是充斥着“每个 Kafka 主题有多个模式”条目。我想知道反过来,如果它可能有问题,或者我是否可以预期为不同的 Kafka 主题重用相同的模式会出现问题?对于我的用例,它们肯定必须是不同的主题(虽然它们必须始终具有相同的架构),但我不知道我是否会违反架构名称和主题名称之间的一些隐藏语义关系。这会“仅”打破惯例或导致实际问题吗?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    假设您使用的是 Confluent Schema Registry,那么每个主题都是一个唯一的主题,但是这些模式确实可以共享,因为匹配的模式会生成匹配的 id。

    这不是问题,并且通过不存储重复信息来节省代理的存储空间

    【讨论】:

    • “那么每个主题都是一个唯一的主题”让我感到困惑,所以我需要一个唯一的主题标识符吗?所以准确地说,如果我的(Confluent)模式注册表中有主题ABC-keyABC-value,并且我将配置保留为默认TopicNameStrategy:主题ABC和主题不会发生冲突ABCD,它们都填充了引用相同架构的记录(在 SR 中称为 ABC,因为不存在 ABCD 架构)?
    • 例如,如果您将key和value设置为相同的schema,则会创建主题ABC-key和ABC-value,但您只会在registry API中找到schema ID 1。无法通过名称获取架构,它需要主题和版本
    猜你喜欢
    • 2019-10-09
    • 2019-01-04
    • 2020-10-12
    • 2020-04-12
    • 2021-08-10
    • 2019-06-14
    • 2017-04-03
    • 1970-01-01
    • 2021-12-21
    相关资源
    最近更新 更多