【问题标题】:Can pure python script (not pyspark) run in parallel in a cluster in Azure Databricks?纯 python 脚本(不是 pyspark)可以在 Azure Databricks 的群集中并行运行吗?
【发布时间】:2019-04-30 05:46:54
【问题描述】:

我想将我的 python 脚本从本地迁移到云上运行,特别是在 Azure Databricks 上创建的集群上。

  1. 纯python脚本是否可以并行运行(同时使用集群中的多个节点)而无需转换成pyspark?
  2. 是否可以检查作业是否并行运行?

【问题讨论】:

    标签: pyspark azure-databricks


    【解决方案1】:
    1. 没有
    2. 如果您提交了 Spark 作业,您可以查看日志,它会显示正在使用的执行器数量。这样您就可以知道作业正在并行运行

    【讨论】:

      猜你喜欢
      • 2022-01-24
      • 1970-01-01
      • 2021-11-23
      • 1970-01-01
      • 2020-07-19
      • 1970-01-01
      • 2019-03-16
      • 2018-02-10
      • 2020-11-03
      相关资源
      最近更新 更多