如何使用 YARN 在 Hadoop 集群中安装应用程序？

Question

我正在努力学习 YARN。但我遇到了障碍。 我有一些问题。

1. 对于每个应用程序，每个数据节点都必须有一个容器。 但是，这些容器是在运行应用程序时自行创建的，还是我们需要创建它们？

2. 在 docker 中，您可以访问容器，这些容器本身就像独立的机器一样。我们可以以类似的方式访问容器吗？

3. 在 dockers 中，容器无法看到容器外部，并且表现为自己的系统，因此它具有容器进程 ID，并且从主机上它也具有进程 ID。换句话说，容器与其他进程是隔离的。 YARN中是否也有类似的概念？

提前致谢！！！ :)

Answer 1

YARN 不是你想象的那样。它不适用于启动 docker 容器。 YARN 用于启动分布式应用程序（Spark、MapReduce 等）。

1. 您不能在 YARN 中“安装”应用程序。您可以在 YARN 中“运行”应用程序。

2. 容器是一种 YARN 抽象，用于指定分布式应用程序的每个进程将使用 YARN 分配给它的有限资源来执行。您无法访问容器，因为它只是一个 java 进程。

3. 正如我之前提到的，YARN 中的容器是一个普通的 linux 进程。您可以通过执行“ps”之类的操作来查看它的 pid。