【问题标题】:What is the difference between 'gsutil compose' and 'gsutil cp' as a parallel composite upload'gsutil compose' 和 'gsutil cp' 作为并行复合上传有什么区别
【发布时间】:2020-04-16 10:01:18
【问题描述】:
  • gsutil composegsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket 有什么区别?
  • gsutil compose 是否仅在我们有许多较小的源文件时才有效?
  • 我们将如何获取这些较小的文件?

【问题讨论】:

    标签: google-cloud-platform google-cloud-storage gsutil


    【解决方案1】:

    组合操作

    compose 命令创建一个新对象,其内容是 给定源对象序列的串联 桶。

    gsutil compose gs://your-bucket/file1.txt  gs://your-bucket/file2.txt gs://your-bucket/file3.txt
    

    上面的命令会将file1.txtfile2.txt的内容连接成file3.txt。也可以连接大文件,尽管在单个 gsutil compose 命令中最多只能连接 32 个文件。您需要事先指定并拥有这些文件。更多关于这个here

    并行复合上传

    如果启用(见下文),大文件将被拆分为组件 并行上传然后在云端合成的片段 (最终删除了临时组件)。最大尺寸 每个组成部分由变量确定 parallel_composite_upload_component_size.

    gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket
    

    上面的命令会将bigfile 拆分为最多 32 个片段,一旦上传,它们将被组合成一个片段并删除临时文件,类似于 compose 操作。更多关于这个here

    简而言之,第一个命令是用来组成一个对象的;后者将其拆分,上传片段,然后在 Cloud Storage 中组合。

    【讨论】:

    • Compose Operation的用例是什么??我了解需要将大文件上传到存储桶时使用并行上传
    • @dhanabalanRangasamy 简单地将多个文件合并为一个。假设您有一堆 .csv 文件,其中包含相关数据,并希望它们位于一个文件中以便于访问 - 例如,gsutil compose 会派上用场。
    猜你喜欢
    • 2015-01-30
    • 1970-01-01
    • 2021-11-25
    • 2013-06-04
    • 2020-02-09
    • 1970-01-01
    • 2021-06-01
    • 2014-10-04
    • 2021-01-30
    相关资源
    最近更新 更多