带有 PIP 跟进的 Conda 安装 requirements.txt 的 Bash 脚本

Question

在 linux 服务器上为 Django 应用程序安装 requirements.txt 文件时，我可以运行：

conda install --yes --file requirements.txt

如果任何包都不能通过 Conda (PackageNotFoundError) 使用，这将崩溃。这个 bash one liner 是一种很酷的方式，可以一次一行地浏览 requirements.txt 文件 source：

while read requirement; do conda install --yes $requirement; done < requirements.txt

这会安装所有通过 Conda 可用的包，而不会在第一个丢失的包上崩溃。但是，我想通过捕获 Conda 的输出来跟踪失败的包，如果有 PackageNotFoundError，然后在包上运行 pip install。

我不擅长 bash，所以希望有人可以建议一个 hack。另一种解决方案可能是只写出一个名为pip-requirements.txt 的新文本文件，其中包含失败的要求。

Answer 1

我个人认为 Anaconda 环境和包管理非常出色。因此，如果您使用conda 命令在您的python 环境中更新您的包，那么我建议使用environment.yml 文件而不是requirements.txt。

environment.yml 应如下所示：

name: root            # default is root
channels:
- defaults
dependencies:         # everything under this, installed by conda
- numpy==1.13.3
- scipy==1.0.0
- pip:                # everything under this, installed by pip
  - Flask==0.12.2
  - gunicorn==19.7.1

要安装的命令：

conda env update --file environment.yml

注意：

这里我们设置name: root，这是默认的anaconda环境名称。这不是如何使用conda 和environment.yml 文件的标准做法。理想情况下，每个 python 项目都应该有自己的 environment.yml 文件，并带有项目特定的环境名称，即 name: project-name。请通过https://conda.io/docs/user-guide/tasks/manage-environments.html 了解如何使用 Anaconda 进行包管理。

Answer 2

找到解决办法：

如果包对 conda 不可用，请运行此命令以使用 conda 或 pip 进行安装：

while read requirement; do conda install --yes $requirement || pip install $requirement; done < requirements.txt 

完成后，您可以使用 conda 导出环境 yaml：

conda env export > environment.yml

Answer 3

将标准错误重定向到一个文件：

while read requirement; do conda install --yes $requirement; done < requirements.txt 2>error.log