twitterstorm worker 可以只获取拓扑的一部分吗？

Question

假设你有以下拓扑

喷口

spout (sends tuple to )bolt1
bolt1 (sends tuple to) bolt2

以及以下设置：

3 名流程工人

spout,parallel hint=1
bolt1, parallel hint=2
bolt2,parallel hint=3

我的问题是：

• 我对工人之间的以下（可能）分布是否正确：

  Worker1                  
     spout1
     bolt 2 
  Worker2
     bolt 1
     bolt 2
  Worker3
    bolt1
    bolt 2
  

• 在上述情况下，bolt1（来自 worker2，worker3）是否会从 spout 中获取任何元组？
• worker 1 的 bolt 2 会从 bolt 1 获取任何数据吗？
• 我们是否必须保持工人数量与喷口/螺栓之间的比例，以便每个工人至少获得一个喷口/或螺栓？

Answer 1

您需要区分不同任务在工作人员之间的分配方式以及 spout 和 bolt 之间的分组方式。分组决定了如何在拓扑中路由元组。例如，如果您在 spout 和 bolt1 之间使用 all 分组，则 bolt1 中的每个任务都将收到 spout 发送的每个元组。 Storm 有很多不同的分组，我建议您仔细阅读 Storms 概念页面，这应该可以回答您的问题：https://github.com/nathanmarz/storm/wiki/Concepts。

Answer 2

简而言之，您无需担心哪个工人正在处理特定任务。 Storm 负责路由消息，因此您无需关注它。在这种情况下，一切都会按预期进行：spout 会将元组发送给 bolt1 工作人员，而 botl1 工作人员会将元组发送给 bolt2 工作人员，无论它们在集群中的物理位置。

也就是说，您对工人之间的任务分配有些不正确。一个worker 一次只能包含一个bolt 或spout 的任务。不过，一个主管可能正在运行多个工作人员，在这种情况下，您将有多个不同螺栓或喷口的任务在同一硬件上运行，但不在同一个进程中。