【发布时间】:2022-06-19 16:10:17
【问题描述】:
如果我在 cli 本地运行它,它会成功运行并将文件从另一个存储桶/密钥复制到正确的位置。
aws s3 sync s3://client_export/ref/commissions/snapshot_date=2022-01-01/ s3://bi-dev/KSM/refinery29/commissions/snapshot_date=2022-01-01/
当我尝试使用 S3CopyObjectOperator 时,我看到 NoSuchKey 错误:
copy_commissions_data = S3CopyObjectOperator(
task_id='copy_commissions_data',
aws_conn_id='aws_default',
source_bucket_name='client_export',
dest_bucket_name='bi-dev',
source_bucket_key='ref/commissions/snapshot_date=2022-01-01,
dest_bucket_key='KSM/refix/commissions/snapshot_date=2022-01-01',
dag=dag
)
我也尝试在键名前后添加/,但我得到了同样的错误
【问题讨论】:
标签: airflow