气流：将本地文件复制到 GCS

Question

我正在使用 Airflow 将文件从本地复制到 GCS，使用 FileToGoogleCloudStorageOperator 实现

我的代码：

dag = DAG('file-gcs-demo', catchup=False, default_args=default_args)

cloud_storage_bucket_name = 'composerdemo-bucket'

t1 = FileToGoogleCloudStorageOperator(
    task_id = 'copy-file-gcs',
    src = '/Users/jw/data.json',
    dst = '/data',
    bucket = cloud_storage_bucket_name,
    gcp_conn_id = 'google_cloud_default',
    dag = dag
)

t1

DAG 成功运行，当我签入 GCS 时，我可以看到在我的存储桶中创建了一个 /data 文件夹，但该文件夹是空的，没有复制任何文件。知道为什么会这样吗？

Answer 1

dst is an object, not a folder. 更改dst= 以在文件夹中包含对象名称，例如dst="data/data.json"。