我需要在我的 Spark 集群的每个节点上安装 Koalas 还是只在主节点上安装 Koalas？

Question

我在 Spark+AI 峰会上发现了 Koalas，它将 pandas 带到了 Spark。

据我所知，如果我需要 map 第三方函数到 Spark DataFrame，我必须在我的 Spark 集群的每个节点上安装该软件包。

考拉也是这样吗？或者我只需要在我的主节点上运行pip install koalas，然后让 Koalas 和 Spark 来处理其余的事情？

除了pip install koalas之外，我在考拉的Docs中没有发现任何细节。

Answer 1

是的，您需要在集群的所有节点上安装考拉。通常，所有第 3 方库都需要安装在集群的所有节点上。