Databricks Notebooks - 如何知道哪个内核

Question

我正在使用 Databricks 社区版来运行 spark 工作负载。我知道它使用内核来运行笔记本

1. 有没有办法确定笔记本使用哪个内核来运行？
2. notebook 将如何在幕后运行（可用信息很少）？

Answer 1

关于第一个问题，Databricks 支持的“主要”语言数量有限 - Scala、Python、R 和 SQL - 您可以在创建笔记本时将它们设置为主要语言。除了在笔记本级别设置的语言之外，您还可以使用magics 为给定单元格使用另一种语言，例如%scala、%python、%r、%sql。还有一些额外的魔法，例如，%sh 用于在驱动程序上执行 shell 代码，%fs 用于处理 DBFS 上的文件等。所有这些都可以在documentation 中找到。

关于第二个问题 - 实际实现是不公开的，但它应该类似于 Spark 实现 - pyspark 等。