【问题标题】:Alterantive to FileToGoogleCloudStorageOperatorGoogle Cloud Storage Operator 文件的替代方案
【发布时间】:2018-09-10 20:03:30
【问题描述】:

所以我找到了FileToGoogleCloudStorageOperator,它有助于将文件从我的本地系统移动到 Google Cloud。但是是否有类似的气流操作员将整个目录移动到谷歌云。

【问题讨论】:

    标签: python google-cloud-platform google-cloud-datastore airflow


    【解决方案1】:

    不是官方的,但是很容易创建,你可以重用https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py的大部分逻辑

    您可以使用相同的GoogleCloudStorageHook 来上传单个文件,然后遍历目录,上传所有文件。无论如何,这就是 GCS 的任何目录上传功能都会做的事情。

    根据您通常需要上传的文件数量,您最好将上传分成多个任务。这样,如果一个上传任务失败,您不必重新启动所有文件的上传。不过,这取决于您的用例。

    【讨论】:

    • 谢谢,从来没有这样想过。抱歉,我的分数低于 15 分,无法投票。
    • Np,很高兴我能帮上忙
    • @cwurtz 为什么不提交 PR 并与社区分享?欢迎新的运营商。
    • 很遗憾,我实际上并没有编写此运算符的版本,只是帮助将 John 指向正确的方向。
    猜你喜欢
    • 1970-01-01
    • 2018-12-19
    • 2017-07-22
    • 1970-01-01
    • 2021-06-10
    • 2019-09-03
    • 2018-10-12
    • 2018-10-17
    • 2017-04-29
    相关资源
    最近更新 更多