【发布时间】：2020-06-24 01:14:17
【问题描述】：
Qubole 上的当前版本是 3.5.3，一些包，比如 PyMC3 和未来的 XGBoost 需要更高版本。 如何升级？这会影响其他集群的设置吗？
【问题讨论】：
标签： qubole
【发布时间】：2020-06-24 01:14:17
【问题描述】：
有几个选项：
如果您使用的是环境，您可以联系 Qubole 支持并更新到 Python 3.7 附带的最新版本。但是，这会影响整个集群，并且不仅限于您的工作。
如果您自己管理包，那么您可以通过node bootstrap 使用 Python 3.7 安装 miniconda，然后将您的工作指定为使用该环境。
pushd /tmp
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh -bfp /media/ephemeral0/py_37_env
然后你可以使用 Spark 属性spark.pyspark.python 来指向你的工作来使用这个 miniconda 环境。您可能需要相应地重新安装依赖项。
【讨论】：
-
谢谢！！是的，我正在使用环境，为此我联系了 Qubole 支持。在环境中的编辑按钮的下拉菜单中有一个升级到 Python 3.7 的选项，但由于某种原因它是灰色的。