YARN - 可以在容器中运行的 map/reduce 任务数

Question

我正在实现一个 MR ETL 作业，我只有映射器任务，没有减速器任务。

我总是看到只有一个映射器在容器内运行。

是否可以在一个容器内运行多个 mapper，或者一个容器内只能运行一个 map/reduce 任务？

Answer 1

Container 只运行一项任务（Map、reduce 或其他任何任务）。但是，如果有足够的可用资源，多个容器可以同时在同一台机器上运行。