如何管理多个版本的 spark 和 scala

Question

我有一个纱线集群和另一台仅用于向集群提交火花作业的服务器。

但是 scala 有多个版本，比如 2.10.x 和 2.11.x，还有多个版本的 spark，比如 1.6.x、2.0.x.2.1.x。

有没有办法优雅地管理一台服务器上的不同版本？

Answer 1

当您向 yarn 提交内容时，它并不真正关心运行的是什么，只要它知道从哪里获取要执行的字节码。只需确保您在两个数据节点上都安装了所有内容，在相同的路径中，并从正确的版本提交。我从未尝试过 docker，但我在工作中与之交谈过的 docker 人员似乎并不认为这是一个好主意。