在没有 Spark 群集的情况下运行 Azure Databricks

Question

我使用 Domino Data Lab 有一段时间了，我能够在一台机器上启动 Python 或 R 会话，而无需使用 Spark。

是否可以对 Azure Databricks 做同样的事情？也就是说，要在没有 Spark（和集群）的情况下使用 Python 启动 notebook 会话？

Answer 1

你总是必须有一个“集群”，但它可以是一个单节点集群（只有一个驱动节点）。将此配置的工作程序节点数设置为零。您无法在仅驱动程序的集群上运行 Spark。请参阅以下example 在仅驱动程序集群上使用 MXNet。

September 2020 platform release 可用的另一个选项是Single Node Cluster。 您可以在 Cluster Mode 中选择“Single-Node”来创建 Spark 在本地模式下运行的单节点集群。

Answer 2

Databricks 现在有 single-mode clusters 的公共预览版。