气流：无法访问 AWS 提供商答案

【问题标题】：Airflow: Unable to access the AWS providers气流：无法访问 AWS 提供商
【发布时间】：2020-07-31 04:32:27
【问题描述】：

我正在尝试访问气流提供商，特别是 AWS 提供商，发现 here

我正在构建一个 docker 映像并使用 PIP 安装 Airflow，并在安装命令中包含 AWS 子包。

pip install 'apache-airflow[crypto,aws,celery,postgres,hive,jdbc,mysql,ssh]==1.10.9' \

但是，我无法从 Python 访问提供程序。

from airflow.providers.amazon.aws.hooks.glue import AwsGlueJobHook

>>> from airflow.providers.amazon.aws.hooks.glue import *
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'airflow.providers'

Providers 文件夹尚未安装。

total 184
-rw-r--r--  1 root root   833 Apr 17 15:25 version.py
-rw-r--r--  1 root root 13682 Apr 17 15:25 settings.py
-rw-r--r--  1 root root  5281 Apr 17 15:25 sentry.py
-rw-r--r--  1 root root  8942 Apr 17 15:25 plugins_manager.py
-rw-r--r--  1 root root  3833 Apr 17 15:25 logging_config.py
-rw-r--r--  1 root root  3232 Apr 17 15:25 __init__.py
-rw-r--r--  1 root root  3503 Apr 17 15:25 exceptions.py
-rw-r--r--  1 root root  2646 Apr 17 15:25 default_login.py
-rw-r--r--  1 root root 26086 Apr 17 15:25 configuration.py
-rw-r--r--  1 root root  2237 Apr 17 15:25 alembic.ini
drwxr-xr-x  6 root root  4096 Apr 17 15:25 www_rbac
drwxr-xr-x  6 root root  4096 Apr 17 15:25 www
drwxr-xr-x  5 root root  4096 Apr 17 15:25 _vendor
drwxr-xr-x  4 root root  4096 Apr 17 15:25 utils
drwxr-xr-x  4 root root  4096 Apr 17 15:25 ti_deps
drwxr-xr-x  4 root root  4096 Apr 17 15:25 task
drwxr-xr-x  3 root root  4096 Apr 17 15:25 serialization
drwxr-xr-x  3 root root  4096 Apr 17 15:25 sensors
drwxr-xr-x  3 root root  4096 Apr 17 15:25 security
drwxr-xr-x  2 root root  4096 Apr 17 15:25 __pycache__
drwxr-xr-x  3 root root  4096 Apr 17 15:25 operators
drwxr-xr-x  3 root root  4096 Apr 17 15:25 models
drwxr-xr-x  4 root root  4096 Apr 17 15:25 migrations
drwxr-xr-x  3 root root  4096 Apr 17 15:25 macros
drwxr-xr-x  4 root root  4096 Apr 17 15:25 lineage
drwxr-xr-x  3 root root  4096 Apr 17 15:25 jobs
drwxr-xr-x  3 root root  4096 Apr 17 15:25 hooks
drwxr-xr-x  3 root root  4096 Apr 17 15:25 executors
drwxr-xr-x  4 root root  4096 Apr 17 15:25 example_dags
drwxr-xr-x  3 root root  4096 Apr 17 15:25 dag
drwxr-xr-x 12 root root  4096 Apr 17 15:25 contrib
drwxr-xr-x  3 root root  4096 Apr 17 15:25 config_templates
drwxr-xr-x  3 root root  4096 Apr 17 15:25 bin
drwxr-xr-x  6 root root  4096 Apr 17 15:25 api
airflow@eaf772874a0b:/usr/local/lib/python3.7/site-packages/airflow$

非常感谢任何帮助。

【问题讨论】：

标签： python amazon-web-services airflow

【解决方案1】：

Providers 包不再包含在 Airflow 中，但您可以使用特定的 backport 包通过 pip 单独安装它们，您可以使用 aws：

pip install apache-airflow-backport-providers-amazon

更多信息可以在这里找到： Airflow Amazon Provider

【讨论】：

【解决方案2】：

Providers 包目前仅适用于 Airflow Master 分支。

如果您想检查您的版本中可用的运算符，请检查该特定版本的代码，例如：https://github.com/apache/airflow/tree/1.10.10 或 https://airflow.apache.org/docs/1.10.10/_api/index.html

【讨论】：