Spring XD Yarn：Stream 仅在两个容器上运行

Question

Spring XD Yarn：Stream 仅在两个容器上运行

Spring XD Yarn 1.2.1 版 1.在 servers.yml 中，将容器数量设置为 15。（我的 YARN 集群中有 16 个节点管理器） 2.创建所有15个容器。我通过在 xd-shell 中执行“运行时容器”确认了这一点 3.当我从 kafka 源到 hdfs 接收器运行 Spring XD 流时，仅使用了两个容器（15 个容器）。其余 13 个容器未使用。我的流运行了 6 到 7 个小时。在这 6 个小时中，15 个实时容器中只有两个用于此流。 4. 请告诉我如何让我的流在所有 15 个实时容器上运行。 --> 有没有我遗漏的配置，请做必要的。

Answer 1

你可以看一下部署清单：http://docs.spring.io/spring-xd/docs/current/reference/html/#deployment-manifest

您可以使用部署属性来扩展您的流并控制模块计数 - 即您要部署的每个模块的实例数。我怀疑您的流以默认值 1 运行，这意味着您将获得一个源模块实例和一个接收器模块实例。默认部署算法确实会将它们部署在单独的容器上。