【问题标题】:Kafka Streams Cassandra ConnectorKafka Streams Cassandra 连接器
【发布时间】:2017-02-21 16:19:53
【问题描述】:

我有几个关于 Data Mountaineer 编写的 Cassandra 连接器的问题。非常感谢任何帮助,因为我们正在尝试找出扩展架构的最佳方法。

  1. 我们是否必须为要更新的每个 Cassandra 表创建一个连接器配置?例如,假设我有 1000 个表。每个表专用于不同类型的小部件。每个小部件具有相似的特征,但数据略有不同。我们需要为每个表创建一个连接器吗?如果是,如何管理以及如何扩展?

  2. 在 Cassandra 中,我们经常需要根据业务需要对列族进行建模。我们可能有 3 个代表用户信息的表格。 1 个用户名,1 个电子邮件地址和 1 个姓氏。我们是否需要 3 个连接器配置并部署 3 个单独的 Sink 任务来将数据推送到每个表?

【问题讨论】:

    标签: cassandra stream apache-kafka connector


    【解决方案1】:

    我觉得两个问题都差不多,sink可以处理多个topic吗?

    接收器可以在一个接收器中处理多个表,因此只需一种配置。这是在 kcql 语句 connect.cassandra.export.route.query=INSERT INTO orders SELECT * FROM orders-topic;INSERT INTO positions SELECT * FROM positions 中设置的,但目前它们需要位于相同的 Cassandra 密钥空间中。这会将来自交易主题的事件路由到名为交易和头寸事件的 Cassandra 表。您还可以选择特定列并重命名,例如将列 A 选为列 B。

    您可能需要多个接收器实例来分离关注点,即将一组主题的写入与其他不相关的主题隔离开来。

    您可以根据允许连接器运行的任务数量进行扩展,每个任务都会为所有目标表启动一个 Writer。

    我们有自己的支持渠道,可以进行更直接的沟通。 https://datamountaineer.com/contact/

    【讨论】:

    • 安德鲁,我的回复有点晚了,但谢谢你的回答。这绝对有助于澄清一些事情
    猜你喜欢
    • 2021-03-01
    • 2021-02-26
    • 2018-06-13
    • 2023-03-10
    • 2020-12-12
    • 2019-09-28
    • 2017-08-05
    • 1970-01-01
    • 2021-10-12
    相关资源
    最近更新 更多