无法找到通过环境变量设置气流连接的凭据

Question

所以我试图在我的气流 dag 中设置一个 S3Hook，方法是在我的脚本中以编程方式设置连接，就像这样

from airflow.hooks.S3_hook import S3Hook
from airflow.models import Connection
from airflow import settings

def s3_test_hook():

    conn = Connection(
        conn_id='aws-s3',
        conn_type='s3',
        extra={"aws_access_key_id":aws_key, 
                "aws_secret_access_key": aws_secret},
        )

我可以运行conn 行没问题，它告诉我可以建立连接。 aws_key 和 aws_secret 通过 dotenv 加载 int，其中包含我在本地目录中的 .env 文件。

但是，当我在函数中运行接下来的两行时：

    s3_hook = S3Hook(aws_conn_id='aws-s3')
    find_bucket = s3_hook.check_for_bucket('nba-data')

检查我知道存在的存储桶。我收到此错误

NoCredentialsError: Unable to locate credentials

关于如何解决这个问题的任何想法？

谢谢！

Answer 1

在您的代码中，您创建了一个 Airflow Connection 对象，但这本身并没有做任何事情。当一个钩子被赋予一个连接 id 时，它会在不同的位置（按这个顺序）查找给定的 id：

• Secrets 后端（如果已配置）
• 环境变量AIRFLOW_CONN_*
• 气流元存储

您的连接目前仅在代码中定义，但 Airflow 无法在上述三个位置中的任何一个位置找到它。

Airflow 文档提供了一些配置 AWS 连接的指导：https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/connections/aws.html