【问题标题】:S3CopyObjectOperator - An error occurred (NoSuchKey) when calling the CopyObject operation: The specified key does not existS3CopyObjectOperator - 调用 CopyObject 操作时发生错误 (NoSuchKey):指定的键不存在
【发布时间】:2022-06-19 16:10:17
【问题描述】:

如果我在 cli 本地运行它,它会成功运行并将文件从另一个存储桶/密钥复制到正确的位置。

aws s3 sync s3://client_export/ref/commissions/snapshot_date=2022-01-01/  s3://bi-dev/KSM/refinery29/commissions/snapshot_date=2022-01-01/

当我尝试使用 S3CopyObjectOperator 时,我看到 NoSuchKey 错误:

copy_commissions_data = S3CopyObjectOperator(
    task_id='copy_commissions_data',
    aws_conn_id='aws_default',
    source_bucket_name='client_export',
    dest_bucket_name='bi-dev',
    source_bucket_key='ref/commissions/snapshot_date=2022-01-01,
    dest_bucket_key='KSM/refix/commissions/snapshot_date=2022-01-01',
    dag=dag
)

我也尝试在键名前后添加/,但我得到了同样的错误

【问题讨论】:

    标签: airflow


    【解决方案1】:

    我也有同样的问题。此问题的任何更新答案/解决方案?

    【讨论】:

      猜你喜欢
      • 2021-05-12
      • 2021-04-13
      • 2021-09-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-11-11
      • 2011-04-01
      相关资源
      最近更新 更多