使用 Airflow 将数据从 Redshift 卸载到 S3

Question

我想将数据从 Redshift 数据库卸载到 S3 存储桶，稍后将用于复制到另一个数据库。我的 DAG 如下所示：

from airflow.operators import RedshiftToS3Transfer
from datetime import datetime, timedelta
from airflow import DAG

default_args = {
  'owner': 'me',
  'start_date': datetime.today(),
  'max_active_runs': 1,
}

dag = DAG(dag_id='redshift_S3',
  default_args=default_args,
  schedule_interval="@once",
  catchup=False
)

unload_to_S3 = RedshiftToS3Transfer(
  task_id='unload_to_S3',
  schema='schema_name',
  table='table_name',
  s3_bucket='bucket_name',
  s3_key='s3_key',
  redshift_conn_id='redshift',
  aws_conn_id='my_s3_conn',
  dag=dag
)

但我收到错误消息“DAG 损坏：无法从‘airflow.operators’（未知位置）导入名称‘RedshiftToS3Transfer’”。有关如何导入 RedshiftToS3Transfer 的任何想法都会有所帮助。

Answer 1

正确的导入方式是

从气流.operators.redshift_to_s3_operator 导入 RedshiftToS3Transfer