【问题标题】:Apache Storm cluster not assigning topology's components to all available workersApache Storm 集群未将拓扑的组件分配给所有可用的工作人员
【发布时间】:2020-01-29 19:38:04
【问题描述】:

我的拓扑配置为使用 14 个工作器,我目前在集群中有 16 个工作器可用。 但是当我提交拓扑时,Storm UI 上的“工作人员资源”部分显示所有 14 个工作人员都已启动,但组件(拓扑组件)仅分配给 7 个。其余显示 N/A(见下面的快照)。

工人/主管日志文件没有显示任何有意义的错误,因为某些工人没有被分配组件。 过去 6 小时以上我一直在谷歌搜索,但无济于事

我的环境:

  • Apache Storm 2.1.0
  • 动物园管理员 3.4.9
  • 一个主节点(Ubuntu 18.0.4 LTS)
  • 三个管理节点(Ubuntu 18.0.4 LTS)

【问题讨论】:

  • 您的拓扑配置是什么样的?如果您没有足够的任务在集群中分布,则不会为某些工作人员分配任何组件。

标签: apache-storm apache-storm-topology


【解决方案1】:

拓扑中每个组件(spout 和 bolts)的并行性提示是什么?如果它们加起来不超过 14 个或更多,那么您将不会在所有工作进程上都有条目。

请记住,您还可以设置系统组件的并行度,例如 Acker 和(在指标 V1 中)指标消费者。

【讨论】:

    猜你喜欢
    • 2021-06-02
    • 2015-12-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-17
    • 1970-01-01
    • 1970-01-01
    • 2016-08-30
    • 1970-01-01
    相关资源
    最近更新 更多