【问题标题】:Can pure python script (not pyspark) run in parallel in a cluster in Azure Databricks?纯 python 脚本(不是 pyspark)可以在 Azure Databricks 的群集中并行运行吗? 【发布时间】:2019-04-30 05:46:54 【问题描述】: 我想将我的 python 脚本从本地迁移到云上运行,特别是在 Azure Databricks 上创建的集群上。 纯python脚本是否可以并行运行(同时使用集群中的多个节点)而无需转换成pyspark? 是否可以检查作业是否并行运行? 【问题讨论】: 标签: pyspark azure-databricks 【解决方案1】: 没有 如果您提交了 Spark 作业,您可以查看日志,它会显示正在使用的执行器数量。这样您就可以知道作业正在并行运行 【讨论】: