【发布时间】:2018-09-10 20:03:30
【问题描述】:
所以我找到了FileToGoogleCloudStorageOperator,它有助于将文件从我的本地系统移动到 Google Cloud。但是是否有类似的气流操作员将整个目录移动到谷歌云。
【问题讨论】:
标签: python google-cloud-platform google-cloud-datastore airflow
所以我找到了FileToGoogleCloudStorageOperator,它有助于将文件从我的本地系统移动到 Google Cloud。但是是否有类似的气流操作员将整个目录移动到谷歌云。
【问题讨论】:
标签: python google-cloud-platform google-cloud-datastore airflow
不是官方的,但是很容易创建,你可以重用https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py的大部分逻辑
您可以使用相同的GoogleCloudStorageHook 来上传单个文件,然后遍历目录,上传所有文件。无论如何,这就是 GCS 的任何目录上传功能都会做的事情。
根据您通常需要上传的文件数量,您最好将上传分成多个任务。这样,如果一个上传任务失败,您不必重新启动所有文件的上传。不过,这取决于您的用例。
【讨论】: