【发布时间】:2021-03-02 05:55:00
【问题描述】:
我正在使用 Databricks 集群 5.5 LTS 版本。最初,我将它与 Python 2 一起使用。但现在我已经从 Python 2 升级到了 3,保持集群版本相同。我已经安装了库 PGPy 以在 python 中执行 PGP 文件的解密。但是,由于此次升级,scala 笔记本(在此升级之前运行良好)失败并出现以下错误:
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 4 times, most recent failure: Lost task 0.3 in stage 1.0 (TID 7, 10.139.64.4, executor 2): org.apache.spark.SparkException: Process List(/databricks/python/bin/pip, install, xlrd, --disable-pip-version-check) exited with code 1. /databricks/python3/lib/python3.5/site-packages/OpenSSL/_util.py:6: CryptographyDeprecationWarning: Python 3.5 support will be dropped in the next release of cryptography. Please upgrade your Python.
我该如何解决这个错误?
【问题讨论】:
-
您从过时的 Python 2.7 更新到过时的 Python 版本 3.5。
标签: python apache-spark databricks