【问题标题】:Download public data to google storage将公共数据下载到谷歌存储
【发布时间】:2018-05-26 10:58:04
【问题描述】:

我想使用 gsutil 直接从链接下载公共数据到我的 google 存储桶。我无法执行任何命令。

【问题讨论】:

    标签: download google-cloud-storage gsutil


    【解决方案1】:

    您可以使用 curl 从链接获取数据并将其通过管道传输到 gsutil(它将流式传输到 Google Cloud Storage),如下所示:

    curl 'https://www.website.com/link-to-your-data' | gsutil cp - gs://your-bucket-name/your-object-name

    【讨论】:

    • 这将取决于我本地计算机的互联网带宽。我想直接上传到存储桶而不从本地计算机路由。
    • 您在问题中将 gsutil 列为要求 - 除非您在 Google Cloud Storage 中复制对象,否则 gsutil 看到的任何数据都必须通过您的本地计算机。为避免这种情况,您可以将 Cloud Transfer 服务与您提供的 URL 列表一起使用,但您需要计算要传输的对象的 MD5。见cloud.google.com/storage/transfer/create-url-list
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-02-10
    • 2018-03-02
    • 1970-01-01
    • 1970-01-01
    • 2020-09-24
    • 2019-04-15
    • 1970-01-01
    相关资源
    最近更新 更多