想要使用 apache 气流 [DAG] 文件将文件上传到 s3答案

【问题标题】：want to upload a file to s3 using apache airflow [ DAG ] file想要使用 apache 气流 [DAG] 文件将文件上传到 s3
【发布时间】：2020-06-22 10:53:05
【问题描述】：

我想制作一个 DAG 文件（apache 气流），用于将 rar 文件上传到任何人尝试过的 s3 存储桶。？请建议，

我在我的 DAG 文件上尝试了这些东西，但出现了一些错误

from airflow.operators import SimpleHttpOperator, HttpSensor,   , EmailOperator, S3KeySensor

错误是

/usr/local/lib/python3.6/dist-packages/airflow/utils/helpers.py:439：弃用警告：直接从“airflow.operators”导入“SimpleHttpOperator”已被弃用。请改为从“airflow.operators.[operator_module]”导入。 Airflow 2.0 将完全放弃对直接导入的支持。

弃用警告） /usr/local/lib/python3.6/dist-packages/airflow/utils/helpers.py:439：弃用警告：直接从“airflow.operators”导入“HttpSensor”已被弃用。请改为从“airflow.operators.[operator_module]”导入。 Airflow 2.0 将完全放弃对直接导入的支持。

弃用警告） /usr/local/lib/python3.6/dist-packages/airflow/utils/helpers.py:439：弃用警告：直接从“airflow.operators”导入“EmailOperator”已被弃用。请改为从“airflow.operators.[operator_module]”导入。 Airflow 2.0 将完全放弃对直接导入的支持。

如何解决这个问题？

【问题讨论】：

标签： amazon-s3 airflow

【解决方案1】：

这只是一个警告，而不是错误。 DeprecationWarning 通常暗示您正在做的事情现在可以工作，但可能会在未来的版本中中断。如果您的任务失败，请忽略这些消息并查找正确的错误。

操作员的代码一直位于airflow.operators.[operator_module] 下，但为了方便起见，它也直接在airflow.operators 下提供。比如SimpleHttpOperator是在https://github.com/apache/airflow/blob/1.10.9/airflow/operators/http_operator.py中定义的，所以从airflow.operators.http_operator导入肯定可以。但是，由于https://github.com/apache/airflow/blob/1.10.9/airflow/operators/init.py#L97-L99 中当前存在的代码，从airflow.operators 导入它也可以工作，至少目前在您当前版本的 Airflow 中是这样。基本上，您可以通过将导入更新为以下内容来解决这些警告：

from airflow.operators.http_operator import SimpleHttpOperator
from airflow.operators.email_operator import EmailOperator
from airflow.sensors.http_sensor import HttpSensor
from airflow.sensors.s3_key_sensor import S3KeySensor

请注意，目前仅在master分支上，尚未发布任何版本，一些第三方操作符和传感器也已再次移动。例如，S3KeySensor 将在 providers.amazon.aws.sensors.s3_key.py 下找到。正如预期的那样，从“旧”路径导入会收到类似的弃用消息，https://github.com/apache/airflow/blob/97a429f9d0cf740c5698060ad55f11e93cb57b55/airflow/sensors/s3_key_sensor.py#L25-L28。

【讨论】：