如何在 python (anaconda) 中使用旧版本的 GLIBC？答案

【问题标题】：How to use an older version of GLIBC in python (anaconda)?如何在 python (anaconda) 中使用旧版本的 GLIBC？
【发布时间】：2021-09-25 13:26:04
【问题描述】：

我正在运行一个 python 脚本，它在集群上提交一个 pyspark 作业。但是，该作业因 GLIBC 问题而失败。

Log Contents:
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.14' not found (required by dev-env/bin/python)
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.17' not found (required by dev-env/bin/python)

我认为问题在于我机器上的 GLIBC 版本是 2.17。 pyspark 集群上的 GLIBC 版本是 2.10。我通过打开python并运行命令获得了这个

>>> import platform
>>> platform.libc_ver()
('glibc', '2.17') # This is my machine

IMO 解决此问题的一种方法是确保我机器上的 python 使用 GLIBC 2.10。但是，我不知道该怎么做。我正在使用 anaconda 创建 python 虚拟环境。我应该如何处理？

【问题讨论】：

标签： python pyspark glibc

【解决方案1】：

如何在 python (anaconda) 中使用旧版本的 GLIBC？

您的问题不是您的 pyspark 在您的机器上使用 GLIBC-2.17。您的问题是您的 pyspark 是针对 GLIBC-2.17（或更高版本）构建的。

您需要下载不同版本的pyspark，适合在 GLIBC-2.10 机器上运行。这样的版本将在 GLIBC-2.10 和所有更高版本上运行良好。

【讨论】：