Azure Databricks 中的 Python 版本答案

【问题标题】：Python Version in Azure DatabricksAzure Databricks 中的 Python 版本
【发布时间】：2020-06-10 12:47:55
【问题描述】：

我正在尝试找出我在 Databricks 中使用的 python 版本。

为了发现我试过了

import sys
print(sys.version)

我得到的输出是 3.7.3

但是当我去集群 --> SparkUI --> 环境

我看到集群Python版本是2。

这是指哪个版本？

当我尝试跑步时

%sh python --version

我仍然得到 Python 3.7.3

每个工作/驱动节点可以有不同的python版本吗？

注意：我使用的设置有 1 个工作节点和 1 个驱动节点（共有 2 个节点，规格相同），Databricks 运行时版本为 6.5 ML

【问题讨论】：

【解决方案1】：

更新：此问题已得到修复。

对于新集群：如果您创建一个新集群，它的 python 环境变量将为 3。

对于现有集群：您需要在集群配置 > 高级的环境变量选项卡中添加，环境变量会发生变化。

PYSPARK_PYTHON=/databricks/python3/bin/python3

感谢您提请我们注意。这是一个产品错误，目前我正在与产品团队合作尽快解决此问题。

使用 UI 创建的集群的默认 Python 版本是 Python 3。

作为 repro 的一部分，我创建了 Databricks Runtime Version: 6.5 ML 并观察到相同的行为。

集群 --> SparkUI --> 环境显示不正确的版本。

【讨论】：

【解决方案2】：

这适用于 gooogle colab 或 MS Azure Databricks 的所有笔记本：

!python --version

【讨论】：

【解决方案3】：

我相信您正在运行使用 Databricks Runtime 5.5 或更低版本的集群。运行时看到的内容

import sys
print(sys.version)

是 PYSPARK_PYTHON 环境变量引用的 python 版本。 Cluster --> SparkUI --> Environment中的那个是Ubuntu实例的python版本，也就是Python 2。

【讨论】：