【问题标题】:OSError: libmkl_intel_lp64.so.1: cannot open shared object file: No such file or directoryOSError:libmkl_intel_lp64.so.1:无法打开共享对象文件:没有这样的文件或目录
【发布时间】:2021-07-19 06:12:29
【问题描述】:

我正在尝试在 TPU 上运行colab notebook 中给出的模型。该模型运行良好,但今天我无法运行该模型。

我使用以下代码安装pytorch-xla。

VERSION = "nightly"  #@param ["1.5" , "20200325", "nightly"]
!curl https://raw.githubusercontent.com/pytorch/xla/master/contrib/scripts/env-setup.py -o pytorch-xla-env-setup.py
!python pytorch-xla-env-setup.py --version $VERSION

我尝试安装所需的库如下:

!pip install -U nlp
!pip install sentencepiece
!pip install numpy --upgrade

但是,当我尝试以下操作时

import nlp

它给出了以下错误:

OSError: libmkl_intel_lp64.so.1: cannot open shared object file: No such file or directory

我搜索了错误并尝试了以下方法,但仍然无法正常工作。任何想法如何解决它?注意:前几天还可以,今天不行了。

!pip install mkl
#!export PATH="$PATH:/opt/intel/bin"
#!export LD_LIBRARY_PATH="$PATH:opt/intel/mkl/lib/intel64_lin/"
!export LID_LIBRAEY_PATH="$LID_LIBRARY_PATH:/opt/intel/mkl/lib/intel64_lin/"

【问题讨论】:

  • 您好,您找到答案了吗?我在 Colab 中遇到了同样的问题
  • @Gabriel 很遗憾我还没有找到它
  • 我正在使用它... !pip install cloud-tpu-client==0.10 storage.googleapis.com/tpu-pytorch/wheels/… 但这不会是一个夜间版本
  • 谢谢@Gabriel,我试过了,但我需要安装夜间版本,因为在我的情况下,培训师会中断其他版本。
  • 相同...我在一个时期内的第二步中停留在训练循环中。但是警告来自:从变压器导入 AdamW 等...

标签: pytorch google-colaboratory kaggle huggingface-transformers tpu


【解决方案1】:
import os 
os.environ['LD_LIBRARY_PATH']='/usr/local/lib'

!echo $LD_LIBRARY_PATH
!sudo ln -s /usr/local/lib/libmkl_intel_lp64.so /usr/local/lib/libmkl_intel_lp64.so.1
!sudo ln -s /usr/local/lib/libmkl_intel_thread.so /usr/local/lib/libmkl_intel_thread.so.1
!sudo ln -s /usr/local/lib/libmkl_core.so /usr/local/lib/libmkl_core.so.1

!ldconfig
!ldd /usr/local/lib/python3.7/dist-packages/torch/lib/libtorch.so

为我工作。我们也会尝试在内部解决问题。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-01-17
    • 2021-12-20
    • 2012-07-13
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多