【发布时间】:2021-07-22 18:48:40
【问题描述】:
我们通过 AWS 使用 Apache Airflow。 我们的所有 python 包都有一个 requirements.txt,但我们遇到了问题。
有一次,我们插入了以下包,更新了环境,并且运行了几个星期:
kubernetes
apache-airflow[postgres,aws]==1.10.12
apache-airflow-backport-providers-postgres==2020.6.24
apache-airflow-backport-providers-amazon==2021.3.3
熊猫==1.2.3
python-dateutil==2.8.1
智能打开==5.1.0
fsspec==2021.6.1
s3fs==2021.6.1
xlrd==2.0.1
openpyxl==3.0.7
boto3
aiobotocore
botocore
问题:
我们必须使用 apache-airflow-backport-providers-amazon:这取决于 botocore 为:1.19.0 = 1.18.0
boto3 依赖于:1.19.0 = 1.18.18
aiobotocore 依赖于:与我上面列出的这些版本不匹配的 botocore。
这正是我们的问题。现在环境无法正常工作,因为它无法安装 requirements.txt,因为这个依赖失败了。
我相信,如果我设法移除 aiobotocore,它会起作用。
值得注意的是,我从 requirements.txt 中删除了 aiobotocore,它仍然显示 aiobotocre 依赖于 botocore,并且它无法满足 requirements.txt(更新环境时)。
我对 Python 有点陌生,如果写得不好,请见谅。如果有人有任何建议,那将是救命稻草!
【问题讨论】:
标签: python amazon-web-services package airflow