【问题标题】:hazelcast topic as a hazelcast-jet sourcehazelcast 主题作为 hazelcast-jet 源
【发布时间】:2020-12-07 14:05:27
【问题描述】:

我正在尝试使用 Hazelcast Jet 作为处理管道来加快速度,并开始深入研究 Sources 文档

https://jet-start.sh/docs/api/sources-sinks#sources

我很惊讶地看到 Hazelcast TopicsReliableTopics 不是本机支持的源,但是开箱即用支持 Kafka 和 JmsQueue。我确实看到了 reliabletopic is a supported sink...,这让我怀疑我是否将某个主题误解为管道的有效来源。

我是不是误会了什么?

【问题讨论】:

    标签: hazelcast hazelcast-jet


    【解决方案1】:

    Hazelcast ITopic 是一种非分布式内存设施,不支持一次性处理。这些可能是 Hazelcast 迄今为止尚未为其提供一流支持的部分原因。 Kafka 是一个持久、分布式和容错设施的示例,这使其非常适合需要精确一次一致性级别的架构。

    另一方面,您可以使用SourceBuilderSinkBuilder 来实现您自己的连接器。 Here's 来自我们的代码示例存储库的示例。

    【讨论】:

    • 啊,我错过了 hazelcast 文档中的 ITopic“不支持一次性处理”......我想我对“globalOrderEnabled”标志的假设过多,并归因于“完全-一次'处理也。说得通。谢谢!
    猜你喜欢
    • 2023-03-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-14
    • 1970-01-01
    • 1970-01-01
    • 2021-11-11
    相关资源
    最近更新 更多