【问题标题】:How hazelcast-jet achieves anything different from hazelcast EntryProcessorshazelcast-jet 如何实现与 hazelcast EntryProcessors 不同的任何东西
【发布时间】:2017-02-22 22:44:35
【问题描述】:

hazelcast-jet 如何实现与之前通过在 IMap 中的键上提交 EntryProcessors 所实现的完全不同的东西?

很想知道。

【问题讨论】:

    标签: hazelcast hazelcast-jet


    【解决方案1】:

    在 Jet 上引用InfoQ article

    向一个分区发送一个可运行的数据类似于单个 DAG 顶点的工作。 Jet 的优势在于能够让顶点转换它读取的数据,生成不再属于同一分区的项目,然后在发送到下游顶点时重新洗牌,以便它们再次被正确分区。这对于缩减单元必须观察具有相同键的所有数据项的任何类型的 map-reduce 操作都是必不可少的。为了最小化网络流量,Jet 可以首先减少在本地成员上产生的数据切片,然后每个键仅将一个项目发送到组合部分结果的远程成员。

    请注意,这只是在入口处理器当前涵盖的相同或相似用例的上下文中的优势。 Jet 可以从任何来源获取数据,并利用整个集群的计算资源进行处理。

    【讨论】:

    • 任何开箱即用的方式来监视事件,比如在 IMap 或队列上并触发计算?
    • 在那些触发 Jet 作业的对象上注册一个事件监听器对我来说似乎是一种合理的方法。
    猜你喜欢
    • 2023-03-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-06-03
    • 1970-01-01
    相关资源
    最近更新 更多