使用 python callable 从气流执行 gsutil

【问题标题】：execute gsutil from airflow using python callable使用 python callable 从气流执行 gsutil
【发布时间】：2022-06-21 23:42:30
【问题描述】：

我们想运行“gsutil ls -L gs://bucket/obj1”命令来打印gcs对象的信息。我们正在使用气流与 gcs 连接。任何人都可以帮助使用python可调用函数运行上述命令的语法

【问题讨论】：

标签： python airflow gcs

【解决方案1】：

现在有一个由 Google 提供的GCSListObjectsOperator：https://github.com/apache/airflow/blob/864cbc9cd843db94ca8bab2187b50de714fdb070/airflow/providers/google/cloud/operators/gcs.py#L163

我认为您可以将它用于您的案例

GCS_Files = GoogleCloudStorageListOperator(
                task_id='List_GCS_files',
                bucket='bucket',
                prefix='obj1',
                gcp_conn_id=google_cloud_conn_id
            )

【讨论】：