驱动程序进程可以在 Spark 集群之外运行吗？答案

【问题标题】：Can driver process run outside of the Spark cluster?驱动程序进程可以在 Spark 集群之外运行吗？
【发布时间】：2016-08-13 02:56:51
【问题描述】：

（在客户端模式下）您可以在笔记本电脑上运行 spark-submit，驱动程序将在您的笔记本电脑上运行。

另外，Spark Doc 说，

在客户端模式下，驱动程序与提交应用程序的客户端在同一进程中启动。

这是否意味着我可以从任何机器提交 spark 任务，只要它可以从 master 访问并具有 Spark 环境？

或者换句话说，驱动进程可以在 Spark 集群之外运行吗？

【问题讨论】：

【解决方案1】：

是的，驱动程序可以在您的笔记本电脑上运行。但请记住：

【讨论】：

超过YARN & HDFS，驱动需要和worker共享“相同类型的文件系统”：e.g.要执行dataframe.write(path)，那么驱动程序和工作人员都必须存在path，如果工作人员在Linux 中并且驱动程序在Windows 笔记本电脑上，这可能是一个问题......
path 通常是 hdfs://...。这不是 Windows 与 Linux 的问题。

【解决方案2】：

是的，我正在使用选项 --deploy-mode cluster 在 LAN 上运行 spark-submit 作业。但是目前遇到this 问题：服务器响应（json 对象）不是很具有描述性。

【讨论】：