在 EC2 上的 virtualenv 中安装 pip 安装时 requirements.txt 文件中缺少包

Question

我正在一个 EC2 实例 (2018-03) 上的虚拟环境中安装各种包。 Pip 成功安装了 一些 包，但不是全部。我在以下需求文件中使用 pip install --force-reinstall -r requirements.txt，该文件是在 Macos 上具有 Python 3.7.4 的工作实例的系统上创建的：

alembic==1.1.0
bcrypt==3.1.7
boto3==1.9.156
botocore==1.12.249
certifi==2019.9.11
cffi==1.12.3
chardet==3.0.4
Click==7.0
coverage==4.5.4
docutils==0.15.2
Flask==1.0.2
Flask-Bcrypt==0.7.1
Flask-Login==0.4.1
Flask-Migrate==2.5.2
Flask-Script==2.0.6
Flask-Session==0.3.1
Flask-SQLAlchemy==2.4.0
Flask-WTF==0.14.2
idna==2.8
itsdangerous==1.1.0
Jinja2==2.10.1
jmespath==0.9.4
lxml==4.3.2
Mako==1.1.0
MarkupSafe==1.1.1
numpy==1.16.2
pandas==0.24.2
patsy==0.5.1
psycopg2==2.8.3
pycparser==2.19
python-dateutil==2.8.0
python-editor==1.0.4
pytz==2019.2
requests==2.21.0
s3transfer==0.2.1
scikit-learn==0.20.3
scipy==1.2.1
six==1.12.0
SQLAlchemy==1.3.8
statsmodels==0.9.0
trimesh==3.1.11
urllib3==1.24.3
Werkzeug==0.15.5
WTForms==2.2.1

然后 pip 给了我以下信息：

成功安装 Click-7.0 Flask-1.0.2 Flask-Bcrypt-0.7.1 Flask-Login-0.4.1 Flask-Migrate-2.5.2 Flask-SQLAlchemy-2.4.0 Flask-Script-2.0.6 Flask- Session-0.3.1 Flask-WTF-0.14.2 Jinja2-2.10.1 Mako-1.1.0 MarkupSafe-1.1.1 SQLAlchemy-1.3.8 WTForms-2.2.1 Werkzeug-0.15.5 alembic-1.1.0 bcrypt-3.1 .7 boto3-1.9.156 botocore-1.12.249 certifi-2019.9.11 cffi-1.12.3 chardet-3.0.4 coverage-4.5.4 docutils-0.15.2 idna-2.8 itsdangerous-1.1.0 jmespath-0.9.4 lxml-4.3.2 numpy-1.16.2 pandas-0.24.2 patsy-0.5.1 psycopg2-2.8.3 pycparser-2.19 python-dateutil-2.8.0 python-editor-1.0.4 pytz-2019.2 requests-2.21.0 s3transfer-0.2.1 scikit-learn-0.20.3 scipy-1.2.1 Six-1.12.0 statsmodels-0.9.0 trimesh-3.1.11 urllib3-1.24.3

但是，当我执行pip list 时，我只看到安装了以下软件包。请注意，例如coverage 和psycopg2 被列为成功安装，但不显示。因此，快速的python -c "import coverage" 将失败。

Package          Version  
---------------- ---------
alembic          1.1.0    
boto3            1.9.156  
botocore         1.12.249 
certifi          2019.9.11
chardet          3.0.4    
Click            7.0      
docutils         0.15.2   
Flask            1.0.2    
Flask-Bcrypt     0.7.1    
Flask-Login      0.4.1    
Flask-Migrate    2.5.2    
Flask-Script     2.0.6    
Flask-Session    0.3.1    
Flask-SQLAlchemy 2.4.0    
Flask-WTF        0.14.2   
idna             2.8      
itsdangerous     1.1.0    
Jinja2           2.10.1   
jmespath         0.9.4    
Mako             1.1.0    
patsy            0.5.1    
pip              19.3.1   
pycparser        2.19     
python-dateutil  2.8.0    
python-editor    1.0.4    
pytz             2019.2   
requests         2.21.0   
s3transfer       0.2.1    
setuptools       41.6.0   
six              1.12.0   
trimesh          3.1.11   
urllib3          1.24.3   
Werkzeug         0.15.5   
wheel            0.33.6   
WTForms          2.2.1

我的问题是：

1. 除了我已经尝试过的--force-reinstall 和--no-cache-dir 之外，还有其他方法可以解决点子问题吗？
2. 我的问题是否与我可以在 EC2 上获取的最新支持的 Python 包是 3.6.8，但我的 requirements.txt 文件是在 3.7.4 系统上创建的事实有关？ （是的，我知道，下次我会更聪明，从一开始就使用 docker。）

Answer 1

在苦苦挣扎并几乎完成了 Docker 训练营之后，我决定再回去进行一轮，并发现了潜在的问题。在我的虚拟环境中，我注意到pip list 只列出了$MYENV/lib/Python3.6/data/dist-packages 中列出的包，而有问题的包都位于$MYENV/lib64/Python3.6/data/dist-packages 中。这导致了一些额外的搜索和this response，它建议将 dist-packages 的 lib64 版本符号链接到 lib 版本，这解决了我的问题。我使用的是 pip 版本 19.3.1，并且引用的文章是 2 年前的，所以我肯定会和一些人交谈。

但是，对于那些想要快速解决方案的人，这里是步骤。

1. 全新的虚拟环境：像往常一样设置全新的虚拟环境。

2. 在 pip 之前进行符号链接：在开始安装任何软件包之前进行符号链接。通常这看起来像：

ln -s $YOURENV/lib/Python3.x/data/dist-packages $YOURENV/lib64/Python3.x/data/dist-packages

1. 继续点子：不，你可以像往常一样pip install -r requirements.txt。仔细检查pip list，您应该会看到列出的所有软件包。