【问题标题】:How to build pytorch from source using numpy如何使用 numpy 从源代码构建 pytorch
【发布时间】:2021-02-16 02:05:28
【问题描述】:

我正在尝试从源代码构建 pytorch v1.4.0,因为我需要它用于另一个模块。 我已经成功地从源代码构建了 pytorch,但是当我尝试运行预期的 python 脚本时,我得到了这个错误:

RuntimeError: PyTorch was compiled without NumPy support

所以我查了一下我做错了什么,结果发现我需要在从源代码构建 pytorch 之前安装 numpy,这就是我所做的。 我使用了命令:

pip3 install numpy==1.19.4

安装 pytorch 时,控制台会为我提供很多信息,包括构建设置。构建设置如下所示:

--   Compile definitions   : ONNX_ML=1;ONNX_NAMESPACE=onnx_torch;HAVE_MMAP=1;_FILE_OFFSET_BITS=64;HAVE_SHM_OPEN=1;HAVE_SHM_UNLINK=1;HAVE_MALLOC_USABLE_SIZE=1
--   CMAKE_PREFIX_PATH     : /home/elvygcp/venv/lib/python3.6/site-packages;/usr/local/cuda
--   CMAKE_INSTALL_PREFIX  : /home/elvygcp/venv/pytorch-1.4.0/torch
-- 
--   TORCH_VERSION         : 1.4.0
--   CAFFE2_VERSION        : 1.4.0
--   BUILD_CAFFE2_MOBILE   : ON
--   USE_STATIC_DISPATCH   : OFF
--   BUILD_BINARY          : OFF
--   BUILD_CUSTOM_PROTOBUF : ON
--     Link local protobuf : ON
--   BUILD_DOCS            : OFF
--   BUILD_PYTHON          : True
--     Python version      : 3.6.9
--     Python executable   : /home/elvygcp/venv/bin/python3
--     Pythonlibs version  : 3.6.9
--     Python library      : /usr/lib/libpython3.6m.so.1.0
--     Python includes     : /usr/include/python3.6m
--     Python site-packages: lib/python3.6/site-packages
--   BUILD_CAFFE2_OPS      : ON
--   BUILD_SHARED_LIBS     : ON
--   BUILD_TEST            : True
--   BUILD_JNI             : OFF
--   INTERN_BUILD_MOBILE   : 
--   USE_ASAN              : OFF
--   USE_CUDA              : ON
--     CUDA static link    : OFF
--     USE_CUDNN           : OFF
--     CUDA version        : 10.2
--     CUDA root directory : /usr/local/cuda
--     CUDA library        : /usr/local/cuda/lib64/stubs/libcuda.so
--     cudart library      : /usr/local/cuda/lib64/libcudart.so
--     cublas library      : /usr/lib/x86_64-linux-gnu/libcublas.so
--     cufft library       : /usr/local/cuda/lib64/libcufft.so
--     curand library      : /usr/local/cuda/lib64/libcurand.so
--     nvrtc               : /usr/local/cuda/lib64/libnvrtc.so
--     CUDA include path   : /usr/local/cuda/include
--     NVCC executable     : /usr/local/cuda/bin/nvcc
--     CUDA host compiler  : /usr/bin/cc
--     USE_TENSORRT        : OFF
--   USE_ROCM              : OFF
--   USE_EIGEN_FOR_BLAS    : ON
--   USE_FBGEMM            : ON
--   USE_FFMPEG            : OFF
--   USE_GFLAGS            : OFF
--   USE_GLOG              : OFF
--   USE_LEVELDB           : OFF
--   USE_LITE_PROTO        : OFF
--   USE_LMDB              : OFF
--   USE_METAL             : OFF
--   USE_MKL               : OFF
--   USE_MKLDNN            : ON
--   USE_MKLDNN_CBLAS      : OFF
--   USE_NCCL              : ON
--     USE_SYSTEM_NCCL     : OFF
--   USE_NNPACK            : ON
--   USE_NUMPY             : OFF
--   USE_OBSERVERS         : ON
--   USE_OPENCL            : OFF
--   USE_OPENCV            : OFF
--   USE_OPENMP            : ON
--   USE_TBB               : OFF
--   USE_PROF              : OFF
--   USE_QNNPACK           : ON
--   USE_REDIS             : OFF
--   USE_ROCKSDB           : OFF
--   USE_ZMQ               : OFF
--   USE_DISTRIBUTED       : ON
--     USE_MPI             : OFF
--     USE_GLOO            : ON
--   BUILD_NAMEDTENSOR   : OFF

有两件事我不明白:

  • 这条线:USE_CUDNN : OFF,我认为这很奇怪,因为我遵循了他们 github 页面上的 pytorch 构建说明,其中提到我需要 CuDNN 从源代码构建 pytorch,并且 CuDNN 已安装在我的系统上。

  • 线路:USE_NUMPY : OFF,不知道为什么pytorch无法识别numpy。

我的系统:

OS: Ubuntu 18.04 LTS
Cuda version: 10.2
CuDNN version: 8
python venv in Google Cloud Compute Engine VM

我如何从源代码构建 pytorch 1.4.0:

git clone --branch v1.4.0 https://github.com/pytorch/pytorch.git pytorch-1.4.0
cd pytorch-1.4.0/
git submodule update --init --recursive
sudo apt install cmake -y
sudo apt-get update
cd ../
sudo apt install python3-venv -y
python3 -m venv venv/
cd venv
source bin/activate
cd pytorch-1.4.0/
pip install pyyaml
python3 setup.py install
cd ../
git clone --branch v0.5.0 https://github.com/pytorch/vision.git torchvision-0.5.0
cd torchvision-0.5.0/
python3 setup.py install
cd ../

如果有人能告诉我如何让 pytorch 识别并使用 numpy 构建,我将不胜感激。 如果我需要提供更多信息,我很乐意提供。

【问题讨论】:

    标签: python numpy ubuntu pytorch torchvision


    【解决方案1】:

    好吧,我不知道解决方案是什么,因为我做了两件事:

    • 我安装了较低版本的 numpy,因为我的 torch 版本也有点旧。
    • 我使用以下命令清除了所有 pytorch 安装缓存:sudo USE_ROCM=1 USE_LMDB=1 USE_OPENCV=1 MAX_JOBS=15 python3 setup.py clean

    可能没有必要降级 numpy,因为我不记得在安装 numpy 并重试后是否清除了所有 pytorch 安装缓存。

    现在我的安装日志包含USE_NUMPY : ON。 不知道这是否解决了我所有的问题,构建 pytorch 需要很长时间,所以我只需要拭目以待,但至少它解决了这个问题:)

    【讨论】:

    • 您是否通过使用建议的方法构建解决了“PyTorch 编译时没有 NumPy 支持”的问题?
    • @VihangaAW 是的,我建议检查您的 Pytorch 版本的发布日期,并安装之前发布的 Numpy 版本。
    猜你喜欢
    • 1970-01-01
    • 2019-06-26
    • 2019-11-10
    • 2010-11-17
    • 2021-10-07
    • 2012-01-21
    • 2012-06-13
    • 2012-08-22
    • 1970-01-01
    相关资源
    最近更新 更多