在现有交互式数据块集群上的 dbfs 上执行 pyspark 代码

Question

我正在研究 Azure Databricks。目前我的 Pyspark 项目在“dbfs”上。我配置了一个 spark-submit 作业来执行我的 Pyspark 代码（.py 文件）。但是，根据 Databricks 文档，火花提交作业只能在新的自动化集群上运行（可能是设计使然）。

有没有办法在现有的交互式集群上运行我的 Pyspark 代码？

我还尝试从 %sh 单元格中的笔记本运行 spark-submit 命令，但没有用。

Answer 1

默认情况下，当您创建作业时，集群类型选择为“新建自动化集群”。

您可以配置集群类型以在自动集群或现有交互式集群之间进行选择。

配置作业的步骤：

选择作业 => 点击集群 => 编辑按钮并选择“Existing interactive cluster”并选择集群。